Доверять ИИ-помощникам нельзя — в половине ответов содержатся серьёзные ошибки, показало исследование

[душман]

Согласно новому исследованию Европейского вещательного союза (EBU) и BBC, ведущие ИИ-помощники искажают новостной контент почти в половине своих ответов, пишет Reuters. Около 45 % проанализированных ответов ИИ-помощников содержали как минимум одну значимую ошибку, а 81 % ответов имели какую-либо проблему, показало исследование.

В исследовании приняли участие 22 государственные медиа организации из 18 стран, включая Францию, Германию, Испанию, Великобританию и США. Специалисты EBU и BBC проанализировали 3000 ответов на вопросы о новостях от ведущих ИИ-помощников на 14 языках, включая ChatGPT, Copilot, Gemini и Perplexity, которые оценивались на точность, поиск источника информации и способность отличать мнение от фактов.

О существовании проблемы наличия галлюцинаций, когда ИИ-модель генерирует неверную или вводящую в заблуждение информацию, часто из-за таких факторов, как недостаток данных, ранее заявляли OpenAI и Microsoft. При этом компании отметили, что работают над устранением этой проблемы. В свою очередь, сервис Perplexity AI утверждает, что один из режимов «Глубокое исследование» имеет точность 93,9 % с точки зрения сопоставления с фактами.

Согласно исследованию, треть ответов ИИ-помощников содержали серьезные ошибки в источнике данных, такие как отсутствие, вводящая в заблуждение или неверная атрибуция. Примерно в 72 % ответов Gemini, ИИ-помощника Google, были выявлены серьёзные проблемы с источником данных, тогда как у остальных ИИ-помощников этот показатель был менее чем 25 %. Примерно в 20 % ответов были отмечены проблемы с точностью, включая предоставление устаревшей информации.