Белый дом работает с Anthropic над созданием правил безопасного применения ИИ-моделей

[душман]

У руководства стартапа Anthropic, чьи передовые ИИ-модели уже неделю как находятся под запретом из-за опасений в сфере национальной безопасности, появилась возможность вести переговоры с высокопоставленными чиновниками США непосредственно на полях саммита G7, поскольку генеральный директор Дарио Амодеи принял участие в данном мероприятии.

Как поясняет Politico, Белый дом и Anthropic сейчас сосредоточились на создании регуляторных механизмов, которые позволили бы правительству США вмешиваться в процесс распространения ИИ-моделей в случае обнаружения в них серьёзных угроз для национальной безопасности и стабильности экономической системы. Оценка этих угроз должна стать системной работой, предваряющей выпуск новых ИИ-моделей в обращение. 

Правительство стремится создать стандартную процедуру анализа подобных уязвимостей и наладить регулярное взаимодействие в этой сфере с разработчиками систем ИИ. Участники переговоров сходятся во мнении, что ни одна ИИ-модель не может быть лишена изъянов с точки зрения безопасности, которые позволяли бы злоумышленникам использовать её в корыстных целях, а потому правительство США должно разработать чёткие процедуры оценки подобных рисков для всех моделей. 

Помимо критериев оценки рисков, должна появиться методика определения последствий негативного воздействия злоумышленников на новые ИИ-модели. Сейчас со стороны правительства США в переговорах принимает участие глава по общественной политике Сара Хек, а интересы Anthropic представляет один из основателей компании Там Браун.