OpenAI формирует команду для контроля над созданием «сверхразумных» систем ИИ

[душман]

По последним данным, компания OpenAI, положившая начало гонке ИИ, представив чрезвычайно эффективного чат-бота ChatGPT, сформировала специальную команду для управления и контроля «сверхразумными» ИИ-системами. Её главой стал один из основателей компании и её главный научный сотрудник Илья Суцкевер. Согласно публикации в блоге OpenAI, ИИ, превосходящий по возможностям человеческий разум, может появиться в течение десятилетия. При этом вовсе не обязательно, что этот «сверхразум» будет благожелательно настроен к человечеству — поэтому необходимо искать пути контроля и ограничений возможностей подобных систем.

Как заявляют в OpenAI, сегодня отсутствуют решения для эффективного контроля и управления сверхразумными ИИ и предотвращения «агрессии» с его стороны. Существующие технологии настройки искусственного интеллекта основаны на обучении с подкреплением на основе обратной связи от человека. При этом такие методики рассчитывают на то, что люди в принципе могут контролировать ИИ, что маловероятно с системами, потенциально более разумными, чем люди. Для изучения данного вопроса специальная команда получит доступ к 20 % вычислительных мощностей компании. 

К ним присоединятся учёные и программисты из отдела, занятого настройкой ИИ в компании, а также других подразделений — в ближайшие четыре года команда намерена справиться с ключевыми техническими вызовами, связанными с контролем сверхразумного ИИ. Фактически речь идёт о тренировке ИИ с использованием обратной связи. При этом будет использоваться специальный искусственный интеллект, предназначенный для оценки других ИИ-систем и обеспечения желаемых результатов, а также обеспечения безопасности их эксплуатации. В OpenAI полагают, что искусственный интеллект справится с этим лучше и быстрее, чем люди. 

По мере развития ИИ-системы компании предположительно будут брать на себя всё больше задач и в результате станут создавать и внедрять лучшие технологии настройки, чем имеются сейчас. Они будут работать вместе с людьми для того, чтобы их собственные преемники больше соответствовали потребностями людей, а те будут осуществлять только надзор, не принимая в исследованиях непосредственного участия. Конечно, ни один метод не имеет абсолютной защиты от ошибок, о чём и заявили в OpenAI. 

Использование одного ИИ для оценки других может привести к росту числа ошибок и уязвимостей в создаваемых ИИ, и вообще может выявить, что сложнейшая часть настройки может быть связана с самыми неожиданными аспектами работы ИИ. Впрочем, в компании убеждены, что настройка сверхразума в основе своей является задачей машинного обучения и критически важную роль будут играть специалисты в данной отрасли. В компании рассчитывают в будущем поделиться плодами своих изысканий для настройки и обеспечения безопасности проектов, даже не связанных с OpenAI.