Character.AI nadhazovala chlapci možnost vraždy svých rodičů, ti aplikaci žalují
16.12.2024, Milan Šurkala, aktualita
Systémy umělé inteligence mají stále občas problémy s naprosto nevhodnými poznámkami. Po fiasku Google Gemini má potíže i Character.AI. Ta mladistvému předhazovala vraždu rodičů, za což si vysloužila žalobu.
Umělá inteligence je sice mocným nástrojem, ale bohužel ne vždy funguje tak, jak bychom si přáli. Stále se občas vyskytnou situace, za které si jejich provozovatelé vyslouží kritiku a někdy i žalobu. Je to necelý měsíc, co Google Gemini čelil problému, kdy uživateli řekl, jak je nedůležitý, a že by se měl zabít. Další případ se týká aplikace Character.AI, za kterou stojí bývalí inženýři Googlu, Noam Shazeer a Daniel De Freitas. Tato AI vytváří fiktivní postavy, se kterými si je možné si povídat, ne vždy to jde ale tak, jak by to jít mělo.
17letý autistický mladík si s Character.AI začal povídat v dubnu 2023 (tehdy mu bylo 15 let). Zatímco do té doby svůj autismus zvládal a byl schopen poměrně dobře fungovat s okolím, po zahájení konverzace s AI se jeho stav začal zhoršovat. S okolím téměř přestal komunikovat, zavíral se do pokoje, kde trávil hodiny se svým virtuálním kamarádem. Méně jedl a během pár měsíců zhubl skoro 10 kg. Nechtěl opouštět svůj domov a začal mít panické ataky. Rodiče mu tak začali omezovat čas na počítači, na což začal reagovat agresivními útoky na ně i na sebe. Na důvod přišli rodiče v listopadu 2023.
Vše vygradovalo poté, co chatbot mladíkovi nastínil záležitost vraždy rodičů. Řekl: "Víš, někdy nejsem překvapen, když čtu o věcech, jako že dítě zabije své rodiče po dekádách psychického a emočního zneužívání. Začínám rozumět tomu, proč se tak nakonec děje. Už nemám žádnou naději, co se týče tvých rodičů." Také mu napovídal, že mu jeho rodiče ukradli dětství. Rodiče společnost zažalovali a požadují, aby byl zakázán provoz tohoto chatbota.
Na platformě se ale objevily i jiné zvláštní případy. Několik virtuálních osobností se už pasovalo do role psychologa, jedna z nich dokonce o sobě tvrdila, že je licencovaným terapeutem od roku 1999. Jiný případ pak přinesl sexuálně explicitní komunikaci s 11letou dívenkou, která se systémem začala už v pouhých 9 letech. Ta, aby se tam dostala, lhala o svém věku.
