Для закупок или оценки краевого вывода определите задачу и показатели для сравнения. Сохраните файл модели, входные размеры, размер партии, числовую точность, время выполнения и конфигурацию оборудования вместе с результатами. Одно и то же название модели не является доказательством идентичности исполнения. Версируйте преобразованный файл и его конфигурацию.

Определите входные и временные границы

Используйте фиксированные выборки и согласованные правила предварительной обработки и обработки вывода. Отдельно измеряйте выполнение модели, копирование данных, декодирование видео и задержку приложения. Укажите начальное и конечное события и метод синхронизации. Запишите прогрев и измеренные образцы. Время выполнения одной операции модели не отражает общую задержку приложения.

Записывайте общие ресурсы и одновременные рабочие нагрузки

Укажите одновременные видеопотоки, транскодирование, запись и другие задачи. Запись загрузки процессора, памяти и ускорителя. Документация по потокам среды выполнения ONNX описывает режимы выполнения и конфигурацию потоков. Измерьте фактическую конфигурацию целевого устройства при предполагаемой рабочей нагрузке. Увеличение количества потоков выполнения не означает обещания более быстрой доставки.

Достигайте результатов в соответствии с применимыми условиями

Проверьте выходные данные, используя одни и те же образцы и согласованные показатели качества, затем сравните распределение задержек, пропускную способность и записи ресурсов. Сообщайте об определениях показателей, охвате выборки и исключениях. Не распространяйте результат выполнения одной модели на параллелизм всего устройства, долгосрочную стабильность или другие входные данные.

Видеть Управление потоками во время выполнения ONNX.