При изменении механизма вывода запишите среду выполнения, драйвер, инструмент преобразования, файл модели и конфигурацию выполнения. Проверьте, где на самом деле выполняются операции и происходит ли откат. Загрузка модели завершает этот шаг. Согласованные образцы по-прежнему необходимы для проверки результатов и использования ресурсов.

Сравните выходные данные после изменения числовой точности

Изменение числовой точности может изменить числовые результаты и действия оператора. В документации по квантованию во время выполнения ONNX указано, что квантование не происходит без потерь и точность необходимо проверять. Сравните исходную и развернутую модели, используя репрезентативные образцы и показатели задач. Сохраните образцы, результаты которых различаются, а также пороговые значения и версии оценки.

Предварительная обработка определяет входные данные модели.

Записывайте порядок цветовых каналов, изменение размера, обрезку, заполнение, нормализацию и макет тензора. Свяжите исходные образцы с фактическими входными тензорами и сравните преобразованный контент. Укажите, выполняется ли предварительная обработка на ЦП или ускорителе и включено ли копирование в синхронизацию.

Проверьте настройки оптимизации в целевой среде.

Документация по оптимизации графов во время выполнения ONNX требует наличия соответствующих опций и оборудования при использовании автономной оптимизации. Сохраните оптимизированную модель и конфигурацию. Перепроверьте функцию, время и ресурсы в целевой среде. Сообщайте о выполнении модели отдельно от пути приложения, который включает декодирование видео, предварительную обработку и обработку вывода.

Видеть документация по квантованию и документация по оптимизации графов.