Google добавит в чат-бот Gemini мониторинг психического здоровья

[душман]

Google планирует добавить в интерфейс чат-бота с искусственным интеллектом Gemini новые функции, направленные на поддержку психического здоровья пользователей. Компания приняла это решение после того, как её конкурентам, в том числе OpenAI, пришлось отвечать по судебным искам, в которых их чат-ботов обвинили в причинении вреда пользователям.

В чат-боте Gemini появится интерфейс, направляющий пользователей на горячую линию поддержки, если в переписке человека с ИИ будут обнаруживаться признаки «потенциального кризиса, связанного с самоубийством или членовредительством». Компания добавит в чаты о психическом здоровье модуль «Доступна помощь»; в дизайн приложения внесут изменения, направленные на предотвращение членовредительства.

Чат-бот Gemini и ChatGPT продолжают набирать популярность, и некоторые люди формируют с ними навязчивые отношения, способствующие развитию бредовых состояний; в крайних случаях эти пользователи убивают других людей или совершают самоубийства. На ведущих разработчиков ИИ уже подают в суд; Конгресс США уже изучает угрозы, которые чат-боты могут представлять для детей и подростков. 

В марте семья погибшего 36-летнего американца подала в суд на Google, утверждая, что его контакт с Gemini привёл к «четырёхдневному погружению в насильственные действия и спровоцированному самоубийству». Google заявила, что чат-бот неоднократно направлял мужчину на кризисную линию, но пообещала повысить безопасность платформы. 

Некоторые пользователи сервисов ИИ заявляли, что чат-боты побуждали их действовать на основе явно не соответствующей действительности информации. В ответ на это Google, по её словам, обучила Gemini «не соглашаться с ложными убеждениями и не подкреплять их, а мягко указывать на отличие субъективного опыта от объективных фактов».