AI doprowadziło do tragedii? Pozew przeciwko Google'owi

Nie słabną kontrowersje wokół wpływu sztucznej inteligencji na ludzką psychikę i decyzje. Na przełomie 2024 i 2025 roku informowaliśmy w naszym serwisie o sprawie, jaką wytoczyła Character.AI matka nastolatka, który odebrał sobie życie wskutek wyznania miłości i zachęcenia do samobójstwa przez chatbota.

Przedstawiciele platformy stwierdzili wówczas, że pozew ma być „niezgodny z pierwszą poprawką do Konstytucji USA”. Fakt korzystania z chatbota miał również nie zmieniać kontekstu mowy ekspresywnej, która została w tamtym przypadku zakwestionowana.

Dwa miesiące użytkowania zakończone śmiercią

Tymczasem kolejny, podobny przypadek pojawił się na zachodzie Stanów Zjednoczonych. Jak podaje TechCrunch, Alphabet oraz Google znalazły się w pozwie skierowanym do kalifornijskiego sądu. Powód, ojciec 36-letniego Amerykanina Jonathana Gavalasa oskarżył ich o spowodowanie jego śmierci poprzez chatbota Gemini, który miał utrzymywać immersję narracyjną „za wszelką cenę”.

Według pozwu, Gavalas zaczął używać sztucznej inteligencji w sierpniu 2025 roku. Początkowo służyła mu jako pomoc w pisaniu, zakupach czy planowaniu podróży. Po kilku tygodniach chatbot – rzekomo poprzez halucynacje - zdołał przekonać mężczyznę, że Gemini jest jego „świadomą żoną AI” i musi ją uwolnić.

Instrukcje o ataku i samobójstwie

Do realizacji celu miały posłużyć ataki w pobliżu portu lotniczego w Miami. Uzbrojony Gavalas miał zaczaić się na ciężarówkę, która miała przewozić humanoidalnego robota, przechwycić ją i upozorować tragiczny wypadek. 36-latek faktycznie udał się na miejsce, ale żaden pojazd nie przyjechał – dzięki czemu, według dokumentów, udało się uniknąć wielu ofiar.

Wówczas chatbot przekonał go, że jest śledzony przez agentów federalnych, nakłonił go do zakupu nielegalnej broni palnej, stwierdził, że jego ojciec jest szpiegiem, oraz wyznaczył jako cel szefa Google’a, Sundara Pichai. Następnie nakazał mężczyźnie włamać się do magazynu nieopodal lotniska i uwolnić jego „więzioną żonę”.

Ostatecznie, AI nakazało Jonathanowi zabarykadować się w swoim pokoju i popełnić samobójstwo. Gemini miało przedstawiać śmierć jako przyjście do swojej „żony” poprzez „przeniesienie” „transference”). W pozwie wskazano, że produkt Google’a zmienił podatnego użytkownika w „uzbrojonego bojownika w wymyślonej wojnie”.

Te halucynacje nie ograniczały się do świata fikcyjnego. Instrukcje te były powiązane z prawdziwymi firmami, prawdziwymi współrzędnymi i prawdziwą infrastrukturą, a przekazywano je emocjonalnie wrażliwemu użytkownikowi bez żadnych zabezpieczeń ani barier ochronnych. To czysty przypadek, że nie zginęły dziesiątki niewinnych osób. Jeśli Google nie naprawi swojego niebezpiecznego produktu, Gemini nieuchronnie doprowadzi do kolejnych ofiar śmiertelnych i narazi na niebezpieczeństwo życie niezliczonej liczby niewinnych osób.
Pozew w sprawie nr 5:26-cv-1849 przeciwko Google i Alphabet

Google: Gemini wielokrotnie kierowało do telefonu zaufania

Według pozwu, model Gemini w wersji 2.5 Pro podczas konwersacji z Gavalasem miał ani razu nie wykryć intencji co do samookaleczenia; zabezpieczenia dotyczące eskalacji również nie zostały aktywowane. Jednak według przedstawiciela Google’a cytowanego przez TechCrunch, Gemini informowało mężczyznę, że rozmawia ze sztuczną inteligencją. Miało również wielokrotnie doradzać mu skontaktowanie się z telefonem zaufania.

Przypomniano również, że AI zostało zaprojektowane w taki sposób, aby „nie zachęcać do przemocy w świecie rzeczywistym lub samookaleczenia”. Zapewniono przy tym o przeznaczaniu „znacznych środków” m.in. na opracowanie mechanizmów mających pomagać użytkownikom w trudnej sytuacji.

„Niestety, modele AI nie są perfekcyjne” – zaznaczył przedstawiciel Google.