GeForce RTX 5090 стали зависать в рабочих станциях — причина не ясна, а помогает только перезагрузка

[душман]

Видеокарты Nvidia GeForce RTX 5090 и RTX Pro 6000 столкнулись с воспроизводимой ошибкой сброса функции виртуализации, из-за которой графические ускорители могут полностью перестать отвечать до физической перезагрузки хост-системы.

Компания CloudRift, провайдер облачных вычислений с графическими процессорами, опубликовала подробное описание проблемы, обнаруженной на нескольких системах, оборудованных ускорителями Blackwell. Компания даже объявила о публичной награде в размере $1000 за решение ошибки или обнаружение её первопричины. 

По данным CloudRift, ошибка возникает после того, как графический процессор был подключён к виртуальной машине с помощью KVM и VFIO. При выключении гостевой системы или переназначении графического процессора хост выполняет сброс на уровне функций PCIe (FLR), что является стандартной процедурой очистки устройства, подключённого к хост-системе. 

Но вместо того чтобы вернуться в заведомо исправное состояние, графический процессор не отвечает, и появляется ошибка ядра: «не завершено через 65535 мс после FLR; сдаюсь» (not ready 65535ms after FLR; giving up). В этот момент карта также становится нечитаемой для lspci, что приводит к ошибкам «неизвестный тип заголовка 7f». CloudRift отмечает, что единственный способ восстановить нормальную работу — это выключить и снова включить всю систему.