Учёные выявили несостоятельность всех бенчмарков для ИИ

[Ippolitovich]

Учёные из Великобритании и США обнаружили серьёзные недостатки в нескольких сотнях тестов, которые используются для проверки безопасности и оценки показателей производительности новых моделей искусственного интеллекта, выпускаемых для широкой аудитории.

 

Учёные в области информатики из Института безопасности ИИ при правительстве Великобритании при поддержке коллег из Оксфордского и Стэнфордского университетов, а также Калифорнийского университета в Беркли изучили более 440 тестов, призванных давать оценку безопасности систем ИИ. Они обнаружили недостатки, которые «подрывают обоснованность итоговых заявлений», поскольку «почти все <..> имеют недоработки минимум в одной области», — а итоговые результаты оказываются «неактуальными или даже вводящими в заблуждение». За отсутствием единого стандарта эти тесты используются разработчиками, в том числе крупнейшими технологическими компаниями для оценки их соответствия интересам человека и обеспечения заявленных возможностей в области рассуждений, решения математических задач и задач по написанию программного кода.

 

В минувшие выходные, пишет Guardian, Google была вынуждена отозвать свою открытую модель ИИ Gemma, после того как та обвинила действующего сенатора США в преступлении деликатного характера в отношении сотрудника полиции. Google заявила, что модели Gemma предназначаются не для потребителей, а для разработчиков и исследователей, но сняла их с публикации на платформе AI Studio — начали появляться «сообщения о попытках их использования лицами, не относящимися к разработчикам». «Галлюцинации, при которых модели просто выдумывают ответы, и подхалимство, когда модели отвечают пользователям то, что те хотят услышать, представляют проблемы для всей отрасли ИИ, особенно для таких небольших моделей как Gemma. Мы по-прежнему стремимся свести галлюцинации к минимуму и постоянно совершенствуем все наши модели», — заверили в Google. Учёные исследовали общедоступные тесты для систем ИИ, но у лидеров отрасли есть и собственные бенчмарки, которые экспертное сообщество ещё не изучило. Они указали, что необходимо выработать единый стандарт для определения работоспособности и безопасности моделей ИИ. «Шокирующим» учёные нашли тот факт, что лишь в 16 % тестов используются статистические методы оценки погрешности, чтобы установить вероятность точности результатов. В ряде случаев, когда необходимо определить конкретную характеристику модели ИИ, например, её «безвредность», этой характеристике даётся недостаточно чёткое определение, что снижает ценность всего теста.