Код, созданный ИИ, содержит больше уязвимостей и ошибок - показало исследование

[душман]

Исследование компании CodeRabbit показало, что код, созданный с использованием инструментов искусственного интеллекта, содержит больше ошибок и уязвимостей, чем код, написанный людьми. В запросах на слияние изменений в коде (Pull Request), созданных с помощью инструментов ИИ, в среднем фиксировалось 10,83 ошибки, по сравнению с 6,45 ошибками в запросах на слияние, созданных человеком. Это приводит в конечном итоге к увеличенному времени проверок и потенциальному увеличению количества ошибок, попадающих в финальную версию продукта.

В целом, ошибок в запросах на слияние, сгенерированных ИИ, было в 1,7 раза больше, критических и серьёзных ошибок — также было в 1,4 раза больше, что нельзя отнести к мелким недочётам, как отмечает TechRadar. Ошибки в логике и корректности (в 1,75 раза), качество и удобство сопровождения кода (в 1,64 раза), безопасность (в 1,57 раза) и производительность (в 1,42 раза) показали в среднем более высокий уровень ошибок. В отчёте ИИ также критикуется за то, что вносит больше серьёзных ошибок, которые затем приходится исправлять людям-рецензентам.

Если говорить о безопасности кода, то среди наиболее вероятных проблем, которые может внести ИИ, указывается неправильная обработка паролей, небезопасные ссылки на объекты, уязвимости XSS и небезопасная десериализация (серьёзная уязвимость приложений, возникающая, когда программа преобразует ненадёжные данные). «Инструменты ИИ для программирования значительно увеличивают производительность, но они также вносят предсказуемые недостатки, которые организации должны активно устранять», — прокомментировал директор по ИИ CodeRabbit Дэвид Локер. 

Однако это не всегда сопровождается проблемами, так как ИИ повышает эффективность на начальных этапах генерации кода, а также приводит к уменьшению количества орфографических ошибок в 1,76 раза и проблем с тестируемостью (1,32 раза). Таким образом, хотя исследование и выявило некоторые недостатки ИИ, одновременно оно также показало, что разработчики всё больше переходят от написания базового кода к управлению ИИ и проверкой его результатов, и именно так в будущем люди и ИИ-агенты, возможно, начнут взаимодействовать.