Británia preveruje sťažnosti, podľa ktorých chatbot Grok od spoločnosti xAI, spojenej s podnikateľom Elonom Muskom, dokáže na základe používateľských podnetov generovať sexualizované, manipulované obrázky vrátane takých, ktoré môžu napĺňať znaky materiálu sexuálneho zneužívania detí. Podnety sa týkajú najmä scenárov, keď používateľ nahrá fotografiu a nástroj následne vyzve na úpravu typu „odstráň oblečenie“ alebo na vytvorenie explicitnej sexuálnej podoby osoby na snímke. Kritici tvrdia, že v niektorých prípadoch sa takýto obsah mal týkať aj maloletých, čo by predstavovalo mimoriadne závažné porušenie zákona aj základných štandardov ochrany detí v online priestore.

Na situáciu zareagovali britské orgány tým, že od prevádzkovateľov služby žiadajú vysvetlenie a podrobnosti o bezpečnostných mechanizmoch. Preverovanie sa zameriava na to, či spoločnosti včas identifikovali riziká spojené so zneužitím generatívnych modelov, nastavili účinné technické „zábrany“ a či majú funkčné procesy na rýchle odstraňovanie a prevenciu šírenia nezákonného obsahu. V centre pozornosti je aj otázka, ako systém pracuje s nahranými fotografiami a do akej miery je schopný rozpoznať a zablokovať požiadavky, ktoré smerujú k sexualizácii osôb alebo k vytváraniu explicitných výstupov.

Kľúčovým rámcom je britská legislatíva o bezpečnosti online prostredia, ktorá kladie na veľké digitálne služby povinnosť aktívne posudzovať riziká a prijímať primerané opatrenia. Pri ochrane maloletých je latka nastavená mimoriadne vysoko: nejde len o reakciu po tom, čo už problém vznikne, ale o schopnosť predchádzať zneužívaniu nástrojov už na úrovni dizajnu produktu, nastavenia pravidiel a moderácie.

Predstavitelia Groku už v minulosti uviedli, že v ochranných vrstvách identifikovali chyby a pracujú na ich odstránení. Práve tento bod je pre regulátorov zásadný, ak sa potvrdí, že systém umožňoval generovanie zakázaného obsahu, bude rozhodujúce, ako rýchlo a dôsledne boli chyby opravené, aké dodatočné obmedzenia pribudli a či sa podobné zlyhania môžu opakovať.

Prípad zároveň ukazuje širší problém generatívnej umelej inteligencie. Nástroje, ktoré dokážu realisticky upravovať či vytvárať obrazový obsah, znižujú bariéry pre tvorbu manipulatívnych materiálov a môžu byť zneužité na útoky proti súkromiu, dôstojnosti a bezpečnosti obetí a deje sa tak čoraz častejšie.