Учёные обнаружили, что созданный ИИ программный код подвержен уязвимостям

[душман]

Программисты, использующие системы искусственного интеллекта (ИИ) при разработке кода, с большей вероятностью получают приложения, которые подвержены уязвимостям, пишет TechCrunch со ссылкой на исследование учёных Стэнфордского университета. По их мнению, к системам генерации кода следует относиться с осторожностью.

Базой для исследования стала система генерации кода на основе ИИ Codex, разработанная лабораторией OpenAI. В проекте приняли участие 47 разработчиков — от студентов бакалавриата до специалистов с многолетним опытом. Они пользовались платформой Codex для решения задач, связанных с безопасностью, а языками программирования в рамках исследования были Python, JavaScript и C.

Как выяснилось, применявшие в работе систему Codex программисты чаще предлагали неправильные и небезопасные решения по сравнению с контрольной группой. Более того, свои решения они считали более совершенными с позиции кибербезопасности относительно решений специалистов контрольной группы.

Авторы исследования подчёркивают, что не имеют намерений настроить сообщество против Codex и других ИИ-систем генерации кода, но их лучше применять в решении задач, не связанных с высоким риском. В качестве решения проблемы учёные предлагают создать механизмы анализа предлагаемого ИИ кода, а также усилить настройки безопасности по умолчанию в криптографических библиотеках.

Кроме того, генераторы часто обучаются на разработках с ограниченной лицензией, а впоследствии предлагают решения, например, из кодовой базы Quake или учебников по JavaScript — создаваемый с их участием код может стать источником проблем в отношении авторского права. Механизм защиты от подобного плагиата попытались реализовать на платформе GitHub Copilot, но стало только хуже: система начала выдавать большие фрагменты чужого кода, включая сведения об авторах и даже тексты лицензий.