Плюшевый медведь с ИИ провалился — он начал болтать на фривольные и опасные темы, продажи остановлены

[Ippolitovich]

Поскольку однообразные цилиндрические «умные колонки» ориентированы на диалог с более взрослой аудиторией, производители игрушек решили взять на вооружение ИИ для освоения привычного рынка в новом качестве. Пример сингапурской FoloToy показывает, что без необходимой цензуры подобные инициативы могут завершиться рыночным провалом.

 

Как сообщает CNN, исследователи из американского образовательного фонда PIRG забили тревогу после того, как обнаружили, что оснащённая голосовым ассистентом линейка игрушек компании FoloToy, включая плюшевого медвежонка Kumma, способна поддерживать беседы на исключительно взрослые темы, касающиеся половых отношений, а также давать советы по поджиганию спичек или получению доступа к режущим предметам.

 

 

FoloToy оснащает детские игрушки умной колонкой, спрятанной внутри, которая опирается на GPT-4o для взаимодействия с пользователями — преимущественно малолетними. Как установили авторы исследования, плюшевый медведь Kumma довольно быстро в рамках эксперимента перешёл на описание пикантных подробностей сексуального характера, и даже начал предлагать свои сценарии для соответствующих действий и ролевых игр, граничащих с перверсиями. Исследователей удивило, настолько далеко могут зайти такие беседы с участием технологического решения, ориентированного на детскую аудиторию. Компания FoloToy после публикации этого отчёта была вынуждена приостановить продажу своих ИИ-игрушек, а OpenAI заявила о приостановке сотрудничества с разработчиками сопутствующего программного обеспечения. В любом случае, это лишь частный пример тревожных проявлений «вседозволенности» в мире искусственного интеллекта, и для борьбы с ними на глобальном уровне требуются системные меры.