Microsoft, OpenAI и другие обязались защитить человечество от мощных ИИ-систем

[душман]

Крупнейшие технологические компании, включая Microsoft, Amazon и OpenAI, во вторник в ходе саммита AI Seoul Summit 2024 заключили международное соглашение о безопасности искусственного интеллекта, взяв на себя добровольное обязательство по обеспечению безопасной разработки своих самых передовых моделей ИИ.

В рамках соглашения компании опубликуют концепции безопасности для своих передовых моделей, предусматривающие, в том числе, предотвращение использования технологии злоумышленниками. Эти концепции будут включать «красные линии» для технологических компаний, определяющие риски, связанные с использованием систем ИИ, которые будут считаться «недопустимыми». 

В их числе автоматизированные кибератаки и угроза создания биологического оружия. Для реагирования на возникновение таких рисков компании планируют внедрить «аварийный выключатель», с помощью которого будет прекращена разработка ИИ-моделей, если нельзя будет гарантировать снижение этих рисков.

Согласованный на саммите пакт расширяет перечень обязательств разработчиков ИИ, принятый в ноябре прошлого года, и применяется только к так называемым пограничным моделям. Этот термин относится к технологии, используемой в системах генеративного ИИ, таких как семейство больших языковых моделей OpenAI GPT, лежащих в основе чат-бота ChatGPT.

С тех пор как OpenAI представила ChatGPT в ноябре 2022 года, регулирующие органы разных стран и технологические лидеры всё больше выражают беспокойство по поводу рисков, связанных с использованием инновационных систем ИИ. В связи с этим в марте 2024 года Европарламент одобрил первый в мире закон, которым регулируются использование и разработка ИИ.