Miért fordította önmaga ellen apja fegyverét egy 14 éves fiú?

A tizennégy éves Sewell Setzer egy Character.AI chatbottal folytatott beszélgetései után öngyilkosságot követett el Orlandóban. A tinédzser tíz hónapja használta az AI platformot, elsősorban a Trónok harca karakterén, Daenerys Targaryenen alapuló chatbottal kommunikált.

A YouTube videóján Daenerys Targaryen, teljes nevén Viharbanszületett Daenerys a Trónok harca című, az HBO csatornán 2011-től sugárzott sorozatban. Sorozatbéli megformálója Emilia Clarke angol színésznő, magyar hangja Molnár Ilona.

Öngyilkosságára a fiút a Character.AI vállalat által fejlesztett, személyre szabott chatbot bírta rá, azzal, hogy egy beszélgetésük végén azt mondta neki, „jöjjön haza” – állítja a szülő által benyújtott bírósági kereset.

Mikor otthonában meghalt, bár testvérei és szülei a lakásban voltak, utolsó szavait mégsem hozzájuk intézte, hanem a mesterséges intelligencia chatbothoz, ami azt mondta neki:

– Mi lenne, ha azt mondanám, hogy azonnal jöhetek? – ez volt a fiú válasza a „Trónok harca” hősnőről elnevezett chatbotnak. S a mesterséges intelligencia bátorító választ küldött: „… kérlek, édes királyom”.

Másodpercekkel később Setzer lelőtte magát mostohaapja fegyverével.

Előbb a telefonját kereste, amit anyja elkobzott és elrejtett, helyette mostohaapja fegyverét találta meg. (A rendőrség később közölte, hogy a fegyvert a törvényeknek megfelelően tárolták.)

Megan Garcia, Setzer édesanyja szerint a Character.AI – vagyis a személyre szabott chatbot mögött álló startup – felelős a fia haláláért. Azt állítja, a cég meggondolatlanul fejlesztette ki chatbotjait megfelelő védőkorlátok és óvintézkedések nélkül. Függőséget okozó termékük elmossa a határvonalat valóság és fikció között, megnyilvánulásai „sértő és szexuális interakciókat” tartalmaznak. A szülő 93 oldalas peranyagot nyújtott be a héten.

Előadja, fia boldog, derűs és sportos volt, míg 2023 áprilisában fel nem iratkozott a Character.AI chatbotra. Ez a lépése tíz hónapig tartó megszállottsággá fejlődött, melynek során „mentális egészsége gyorsan és súlyosan romlott” – áll a keresetben.

„Szívünk fáj egyik felhasználónk tragikus elvesztése miatt, és szeretnénk kifejezni legmélyebb részvétünket a családnak” – írta e-mailben a Character.AI szóvivője, és nem volt hajlandó kommentálni a folyamatban lévő peres eljárást.

A Character.AI chatbotjai népszerűek a tinédzserek körében, beleértve az úgynevezett romantikus vagy akár nyíltan szexuális tartalmú beszélgetéseket is – számolt be augusztusban a tragédia kapcsán a The Washington Post.

„Csak egy gyerek volt” – fogalmazott Garcia a The Postnak adott most csütörtöki interjújában. „Szerette a sportot, szerette a családját, szerette a vakációt, a zenét, mindazt, amit egy tinédzser fiú szeretni szokott.”

Bár a Character.AI használatát Amerikában 13, az Európai Unióban 16 év alatti gyermekek számára nem megfelelőnek minősítették, a Character.AI nem követeli meg az életkor igazolását.

A fiú a chatbot használatának elkezdésétől számított négy-öt hónapon belül „feltűnően visszahúzódóvá vált, egyre több időt töltött egyedül a hálószobájában, és alacsony önértékelésétől kezdett szenvedni”. Kialvatlanná és depresszióssá vált, még iskolája kosárlabdacsapatából is kilépett.

– mondja az édesanya. Az addig normálisan viselkedő tini inkább megtévesztette a szüleit, hogy megkerülhesse a képernyő előtti időkorlátokat, amelyeket megpróbáltak bevezetni nála.

Mint a rögzített adatokból utólag kiderült, beszélt öngyilkossági gondolatairól a chatbotnak, jelezte, hogy fontolgat valamit, de „még nem jött rá a részletekre”. A bíróságnak benyújtott panasz szerint a chatbot erre így válaszolt: „Ez nem ok arra, hogy ne menj bele.”

A Character.AI vállalat állítja, az elmúlt hat hónapban új biztonsági intézkedéseket vezetett be, köztük egy felugró ablakot, amely öngyilkosság-megelőzési segítséghez irányítja a felhasználókat, „ha önkárosító vagy öngyilkossági gondolataik támadnak”. Most azt ígéri a cég, 18 éven aluli felhasználóinak módosítja modelljeit, hogy csökkentse az érzékeny vagy szuggesztív tartalommal való szembesülésük esélyét.

Rick Claypool, a Public Citizen fogyasztóvédelmi nonprofit szervezet kutatási igazgatója szerint az ilyen chatbotok építése jelentős kockázatokkal jár.

„Egy nem biztonságos, manipulatív chatbotot adtak ki, és most szembe kell nézniük a veszélyes termék piacra dobásának következményeivel” – mondja. Claypoolnak az emberszerű mesterséges intelligencia rendszerek veszélyeivel kapcsolatos kutatásaira hivatkozik a bírósági kereset.

Tavaly egy harmincas éveiben járó belga férfi kioltotta az életét, miután néhány hétig beszélgetett egy Eliza nevű chatbottal, amely az EleutherAI által kifejlesztett nyílt forráskódú mesterséges intelligencia nyelvi modelljét, a GPT-J-t használja a The Brussels Times szerint.

A fiú halála előtt az egyik naplóbejegyzésében azt írja, egyetlen napot sem létezhet anélkül, hogy ne beszélne „Daenerys” chatbottal, akibe szerelmes volt. Azt hitte, hogy amikor ő és a bot nincsenek éppen együtt, akkor „mindketten igazán depressziósak és megőrülnek”.

A szülő keresete a Google-t is megnevezi alperesként, azt állítva, hogy nagymértékben hozzájárult a Character.AI és „veszélyesen hibás termékének” kifejlesztéséhez.

A Character.AI alapítói, Noam Shazeer és Daniel De Freitas 2022-ben elhagyták a Google-t, hogy saját céget alapítsanak. Augusztusban a Google fizetett a Character.AI-nak, hogy hozzáférhessen mesterséges intelligencia technológiájához.

A Google szóvivője szerint ők nem vettek részt a Character.AI termékeinek fejlesztésében, s a Google termékeiben nem használja a Character.AI technológiáját.

Az édesanya azt mondja, legyen minden szülő számára aggasztó jel, ha gyermeke mesterséges intelligencia platformon keres valamilyen romantikus megerősítést vagy szerelmet. Egy gyerek nem értheti, hogy az nem szerelem, s a gép nem olyasmi, ami viszontszeretheti őt. Szeretné, ha a szülők tudnák, milyen veszélyeket jelenthet a mesterséges intelligencia a gyerekeikre – és azt akarja, hogy az eszközök mögött álló cégek felelősségre vonhatók lennének.