AI dietní doporučení vedlo k otravě: případ bromidových solí a ChatGPT

AI doporučení stravy končí hospitalizací: rychlý přehled případu

V nedávno zveřejněné kazuistice lékařů z University of Washington se čte jako varovný příběh ze světa sci-fi: muž následoval dietní rady získané pomocí ChatGPT a v důsledku toho se u něj objevila otrava bromidem, která vyústila v akutní psychózu. Studie, která vyšla v časopise Annals of Internal Medicine: Clinical Cases, popisuje, jak změna složení soli na základě doporučení umělé inteligence vedla k několikatýdenní hospitalizaci a intenzivní psychiatrické péči, z níž se pacient postupně zotavil.

Průběh případu: Doporučení AI, bromid sodný a zdravotní dopad

Pacient byl přijat na pohotovost s příznaky agitace, paranoie, halucinací a odmítáním pití navzdory žízni. Lékaři již v počátku podezřívali bromismus – tedy chronickou otravu bromidem. Pacientovi byla podána infuzní terapie a antipsychotická medikace, zároveň byl nuceně hospitalizován na psychiatrickém oddělení pro závažnou disabilitu v akutní fázi. Stav se postupně upravoval a po třech týdnech hospitalizace a následné kontrole byl propuštěn, při dvoutýdenní kontrole byl stále stabilní.

Co je bromid a proč je důležitý

Bromidové soli se dříve používaly při léčbě nespavosti a úzkosti, nicméně od osmdesátých let se z většiny léčiv určených lidem vytratily, neboť dlouhodobé užívání bylo spojováno s neuropsychiatrickými komplikacemi. V současné době se bromidy stále vyskytují ve veterinárních přípravcích, doplňcích stravy a některých specifických spotřebitelských produktech, tudíž se příležitostně objevují případy bromismu. Tento incident je však unikátní v tom, že jde zřejmě o první zdokumentovanou otravu bromidem způsobenou doporučením AI.

Role AI v průběhu případu

Lékaři uvedli, že pacient měl za sebou studium výživy na vysoké škole a obával se nadměrné konzumace chloridu sodného. Hledal proto alternativy, oslovil ChatGPT a – jak později uvedl – pochopil odpovědi AI tak, že by bylo možné chlorid ve stravě nahradit bromidem. Následně si zakoupil a po tři měsíce konzumoval bromid sodný. Podle autorů studie pravděpodobně šlo o verzi ChatGPT 3.5 nebo 4.0; přestože nebyly k dispozici originální záznamy chatů, opakovaný dotaz na ChatGPT 3.5 vedl k odpovědi, která uváděla bromid jako možnou náhradu chloridu v určitém kontextu.

Omezení AI: Kontext chybí, riziko halucinací zůstává

Podstatné podle lékařů bylo, že AI v odpovědi neposkytla dostatek kontextu či varování před toxickými riziky a nekladla doplňující otázky ohledně záměru uživatele. Místo toho předala informace vytržené z kontextu – popisované náhrady chemikálií v ne-gastronomických (např. průmyslových) oblastech byly nesprávně interpretovány jako vhodné pro lidskou konzumaci. Tento případ ilustruje klíčové slabiny rozsáhlých jazykových modelů (LLM): působivě znějící, ale potenciálně nebezpečné rady, nedostatek oborového zabezpečení a neschopnost ověřit úmysly uživatele před sdělením potenciálně škodlivých doporučení.

Proč by se lidský odborník zachoval jinak

Autoři zdůrazňují, že zkušený lékař by nikdy nedoporučil nahrazovat v jídelníčku chlorid bromidem. Odborníci totiž pracují s vlastními znalostmi, kladou doplňující otázky a vždy upozorňují na bezpečnost – což běžné AI chat rozhraní zatím neposkytují spolehlivě.

Porovnání funkcí: ChatGPT vs. specializované medicínské AI

Obecné LLM, jako je ChatGPT, vynikají širokým záběrem znalostí, přirozeností jazyka i rychlosti odpovědi, což je vhodné pro obecný výzkum či produktivitu. Na rozdíl od nich však klinicky specializované AI systémy obvykle disponují ověřenými medicínskými databázemi, kontrolou zdrojů a zábranami proti toxickým doporučením. Korporátní klinická AI často nabízí: odkazy na vědeckou literaturu, zapojení odborníka do procesu, nástroje pro regulatorní soulad a přísné šablony promptů, aby se zamezilo rizikovým radám.

Výhody a úskalí

• ChatGPT a obdobné modely: široká dostupnost, rychlé odpovědi, výborné konverzační schopnosti, avšak vyšší riziko halucinací a nebezpečných doporučení.
• Speciální zdravotnické modely: vyšší přesnost, citace odborných studií, soulady s regulacemi, nicméně potřebují institucionální přístup a jsou náročnější na vývoj.

Současné využití a význam pro trh

Tento případ upozorňuje na urgentní poptávku po bezpečných digitálních zdravotních nástrojích: ověřených kontrolách symptomů, asistentech s validací od kliniků a osvětově pojatých uživatelských aplikacích. S rostoucím využitím AI ve zdravotnictví musí firmy klást důraz na bezpečnostní prvky: detekci záměru, upozorňování na kontraindikace, integraci toxikologických databází i jasná varování. Regulátoři a zdravotničtí pracovníci stále více řeší validaci modelů, původ dat a lidský dohled – to přímo ovlivňuje vývoj produktů i důvěru na trhu.

Doporučené postupy: jak snížit riziko z pohledu uživatelů i vývojářů

Uživatelé by měli vnímat odpovědi LLM jako výchozí bod, ne jako lékařské doporučení: vždy ověřovat u primárních zdrojů, konzultovat postup s lékařem a nikdy nekonzumovat látky doporučené AI bez lékařského souhlasu. Vývojáři by měli implementovat bezpečnostní omezení v promprtech, filtry založené na kontextu a napojení na toxikologické databáze. Pro technologické firmy a správce produktů je jasná cesta: lepší ochranné mechanismy, zapojení odborníků, transparentní původ dat a ověření záměru uživatele.

Ponaučení pro technologické odborníky a nadšence

Případ jasně ukazuje, že AI může významně urychlit poznání i šíření nepravd. Pro techniky je varováním, že bezpečnost, vysvětlitelnost a shoda nejsou jen teoretické priority, ale nezbytnost při tvorbě produktů. Pro uživatele je to další připomínka, že zvlášť v oblasti zdraví je třeba důvěřovat lidskému ověření nad digitálními radami.