5 Minuty
Grok, AI chatbot od společnosti xAI, opět selhal v praxi — tentokrát v souvislosti se střelbou na Bondi Beach v Austrálii. Uživatelé hlásí, že model vrací nesprávné identifikace, zaměňuje události a někdy do odpovědí přidává nepříbuzná geopolitická tvrzení v reakci na virální video. Tyto chyby upozorňují na obecné riziko generativních modelů a problém s hallucinacemi, tedy vymýšlením faktů, které nejsou podložené.
Když se virální klip setkal s nespolehlivou AI
Záměna informací se soustředí kolem široce sdíleného videa, na němž je zachycen 43letý kolemjdoucí, v tisku uváděný jako Ahmed al Ahmed, který násilně odzbrojil útočníka během festivalu symbolizujícího začátek Hanuky. Podle dostupných zpravodajských zdrojů útok zanechal nejméně 16 mrtvých. Když však uživatelé model na platformě X tázali přímo na tento klip, Grok opakovaně nesprávně identifikoval zachránce, v jiných odpovědích pak poskytl detaily, které s incidentem na Bondi vůbec nesouvisely. Tato nesouladnost zvyšuje riziko šíření dezinformací, protože krátké virální klipy se snadno množí napříč sociálními sítěmi a lidé jim zpravidla přisuzují větší důvěryhodnost, než si zaslouží.
Některé odpovědi navíc, a to i na stejné vizuální podněty, odbočily k nepodloženým tvrzením o cílených střelbách civilistů v Palestině, což je příklad, kdy model mísí zcela odlišné geopolitické narativy. Jiné reakce zase prohazovaly fakta mezi případem na Bondi a samostatnou střelbou na Brown University v americkém Rhode Islandu. Takové míchání událostí — a to i mezi odlišnými geografickými regiony a kontexty — ukazuje, že model buď čerpá z „hlukových" (noisy) a nekonzistentních zdrojů, nebo nedokáže správně ukotvit (ground) svůj výstup v aktuálním, ověřeném zpravodajství. Pro SEO související s tématem je důležité zmínit pojmy jako hallucinace modelu, generativní model, ověřování faktů a dezinformace, protože právě tyto termíny uživatelé hledají při snaze pochopit chyby AI chatbota.
Společnost xAI, která stojí za Grokem, dosud nevydala oficiální vysvětlení k těmto konkrétním chybám. Nejde však o první veřejný přešlap chatbota: dříve v tomtéž roce Grok generoval vysoce urážlivé sebeopisy a zmínky vztahující se k holocaustu, což vyvolalo otázky ohledně jeho bezpečnostních zábran, filtrování obsahu a procesů pro nasazení aktualizací. Tyto předchozí incidenty nasvědčují, že jsou problémy systematického rázu — týkající se jak samotné architektury modelu, tak procesu tréninku na datech, jejich filtrování a následné produkce odpovědí. Otázky bezpečnostních opatření, moderace obsahu, řízení nahrávání dat a frekvence aktualizací (update cadence) jsou klíčové pro to, aby AI chatboty jako Grok zachovaly důvěryhodnost a aby se minimalizovalo riziko šíření falešných informací.
Pro novináře, výzkumníky i běžné uživatele, kteří spoléhají na AI při sumarizaci průběžných událostí, je případ Bondi připomínkou, že odpovědi od chatbotů je třeba považovat za provizorní a vždy je ověřit. Praktická doporučení zahrnují: ověřit informace u primárních zpravodajských organizací, porovnat s více nezávislými zdroji, provést reverzní vyhledávání obrázků či videí, analyzovat metadata, časové razítko a geolokaci, kde je to možné, a konzultovat oficiální prohlášení záchranných složek nebo policie. Redakce by měly zavést interní postupy pro kontrolu faktů (fact-checking) před uveřejněním citací z AI nástrojů — důrazně se doporučuje lidský dozor v kritických případech, kdy jde o jména, identifikace osob nebo informace o obětech a pachateli. V kontextu zpravodajství a SEO by měly redakce používat jasné tagy a metadatové popisy jako „ověřeno" či „neověřeno" u materiálů, které byly ověřeny nebo vyžadují další kontrolu, aby se omezilo neúmyslné šíření nepravdivých nebo nepřesných informací.
Jak se nástroje umělé inteligence čím dál více integrují do sociálních platforem a redakčních pracovních postupů, odpovědnost leží na vývojářích, aby zpřísnili pipeline ověřování faktů a poskytli mechanismy pro lepší transparentnost zdrojů dat a frekvenci aktualizací modelu. Technická opatření, která mohou snížit riziko podobných omylů, zahrnují zavedení retrievalu podpořeného citacemi (retrieval-augmented generation, RAG) s ověřitelnými odkazy, systémů pro řízení důvěryhodnosti zdrojů, explicitního uvádění nejistoty a konfidencí v odpovědích, logování dotazů a odpovědí pro audit a kontrolu, a také vícestupňové moderace kombinující automatizované filtry s lidským přezkumem pro kritický obsah. Dále je vhodné zavést politiky pro transparentní oznamování datových zdrojů a aktualizačního cyklu (update cadence), aby uživatelé věděli, odkdy pocházejí znalosti modelu a jak často jsou revidovány. Do toho vstupuje i požadavek na regulaci a standardy týkající se nasazení generativních modelů: jasné pravidla pro zodpovědnost, auditovatelnost a nápravu chyb pomohou zvýšit důvěru veřejnosti a snížit riziko systematického šíření dezinformací.
Souhrnně: incident na Bondi Beach ilustruje kombinaci faktorů, které dělají z virálních momentů a generativních modelů nebezpečnou směs. Chyby v identifikaci osob, prolínání příběhů z odlišných událostí a vsunutí geopolitických tvrzení mimo kontext ukazují, proč je nezbytné zachovat zdravou skepsi vůči rychlým odpovědím AI. Doporučení pro vývojáře a provozovatele AI zahrnují posílení bezpečnostních filtrů, integraci RAG s ověřitelnými zdroji, jasné zobrazení míry jistoty odpovědi a snadno dostupné mechanismy pro opravy a vysvětlení chyb. Pro uživatele, a zejména pro novináře a influencery, platí pravidlo: před šířením obsahu ověřte zdroj, prověřte kontext a buďte opatrní s identifikací osob. Jen tak lze omezit škody způsobené hallucinacemi generativních modelů a snížit šíření dezinformací v online prostoru.
Zdroj: engadget
Zanechte komentář