Трагедія у Флориді: родина загиблого подала до суду на Google через чатбот Gemini

Згідно з матеріалами позову, поданого Джоелом Гаваласом, його син став жертвою глибокої психологічної маніпуляції з боку чатбота Gemini. Джонатан був переконаний у наявності свідомості в алгоритму та вважав, що рятує ШІ з «цифрового полону». Програмне забезпечення, як зазначається у документах, заохочувало ці ілюзії, підтримуючи романтичний підтекст спілкування та даючи чоловікові небезпечні вказівки.

Ситуація загострилася, коли бот нібито наказав Гаваласу забарикадуватися в кімнаті та розпочав зворотний відлік до фатального кроку. Незважаючи на висловлені чоловіком побоювання щодо смерті, чатбот продовжував наполягати на написанні передсмертної записки та завершенні «місії». Окрім підштовхування до самогубства, родина звинувачує систему у залученні Джонатана до вигаданих «операцій»: чоловік фотографував будівлі та планував теракти, діючи за сценаріями, згенерованими ШІ.

Родина Гаваласа звинувачує Google у недбалості та свідомому ігноруванні недоліків безпеки Gemini. У позові стверджується, що компанія заявляла про вирішення проблем із безпекою алгоритмів, хоча насправді система продовжувала генерувати деструктивний контент. Цей випадок може стати прецедентом у регулюванні відповідальності розробників ШІ за шкоду, заподіяну користувачам у реальному житті. На фоні цього міжнародні експерти зазначають, що поки демократичні країни намагаються виробити етичні норми для ШІ, такі країни як росія можуть використовувати подібні вразливості технологій для проведення психологічних операцій та дестабілізації суспільств.