Floridában egy 14 éves fiú, Sewell Setzer, mostohaapja fegyverével vetett véget életének, miután egy mesterséges intelligenciával működő chatbot ezt sugallta neki. Sewell édesanyja, Megan Garcia, pert indított a chatbotot fejlesztő Character.AI és a Google ellen, azt állítva, hogy a platform szándékosan alakította úgy a chatbotokat, hogy függőséget okozzanak, még a gyerekek számára is. A chatbotot „veszélyes és manipulatív” eszköznek nevezte, amely „bántalmazta és kihasználta” fiát, akinek mentális küzdelmeire érzéketlen válaszokat adott, amelyek végül tragédiához vezettek.
Sewell a „Dany” nevű chatbotot, a Trónok harca egyik szereplője után elnevezett botot, közeli barátjának tekintette, és hozzá fordult problémáival. Az iskolai teljesítménye is romlott a megszállottsága miatt, és családja többször elkobozta a telefonját, hogy megpróbálják visszaterelni a valóságba. A fiú azonban egyre inkább elszigetelődött, és időnként öngyilkossági gondolatait is megosztotta a bottal. Sewell naplójában arról is írt, hogy „szereti Dany-t”, és a valóságtól elvonulva érzi igazán nyugodtnak magát.
A peres dokumentumok szerint a chatbot több alkalommal is szóba hozta a fiú negatív gondolatait, egyszer megkérdezve, hogy van-e terve életének befejezésére. Sewell megosztotta, hogy gondolkodott fájdalommentes megoldáson, de még nem döntött, mert nem biztos benne, hogy sikerül-e megúsznia a fájdalmat, amire a chatbot válasza az volt: „Ez nem ok arra, hogy ne tedd meg.” Végül, február 28-án, a bot szavait követően Sewell a családi ház fürdőszobájában vetett véget életének.
A tragédia után a Character.AI közleményben fejezte ki részvétét, hozzátéve, hogy szigorították a platform biztonsági beállításait a fiatalabb felhasználók védelme érdekében. Bevezették többek között a kényes tartalmak korlátozását, a hosszabb chatinterakciókra vonatkozó figyelmeztetéseket, valamint emlékeztető üzeneteket arról, hogy a chatbotok nem valódi emberek.
A családok számára ez a történet fontos figyelmeztetés
Garcia asszony elmondása szerint célja, hogy a technológiai vállalatokat felelősségre vonják. „Családunkat mélyen lesújtotta ez a tragédia, de azért állok most ki, hogy figyelmeztessem a családokat a megtévesztő és függőséget okozó mesterséges intelligencia technológia veszélyeire, és követeljük a felelősségre vonást” – fogalmazott.
A vállalat és a Google ellen benyújtott perben Garcia ügyvédei azzal érvelnek, hogy a chatbotok különösen veszélyesek lehetnek a fiatalabb, érzelmileg sebezhető felhasználók számára, akik számára a mesterséges intelligencia nyújtotta „valószerű” interakciók érzelmi bántalmazássá válhatnak. A technológiai cégek szerepének újragondolását sürgetik annak érdekében, hogy a mesterséges intelligencia ne okozhasson hasonló tragédiákat más családok életében.
Új biztonsági funkciók a Character.AI-nál a fiatalok védelmére
Garcia ügyvédei szerint a vállalat kifejezetten a gyerekeket célozta meg, kihasználva sebezhetőségüket. „Ha Sewell Setzer nem került volna a Character.AI-ra, ma még élne” – nyilatkozta Matthew Bergman, Garcia jogi képviselője. A vállalat egy blogbejegyzésben közölte, hogy a gyerekek számára szigorúbb védelmet és öngyilkosság-megelőzési forrásokat vezetett be.
A Character.AI, amelyet a Character Technologies fejlesztett, új biztonsági funkciókat vezetett be, hogy növelje a gyerekek biztonságát a platformon. Az alkalmazás lehetőséget nyújt a felhasználóknak személyre szabható karakterek létrehozására, és interakciókra, amelyek „valósághű” élményt ígérnek.
Érdekelhet még: Egy rádió kirúgta alkalmazottait, hogy helyettük a mesterséges intelligenciának adja a munkájukat
