Начните план развертывания периферийной модели, подтвердив источники модели и разрешенное использование, определения входных и выходных данных, целевое устройство и версии программного обеспечения. Сохраните исходную модель, репрезентативные образцы, определения меток и существующие результаты. Начните с ограниченного пробного развертывания и согласуйте критерии приемки функций, качества задач и ограничений ресурсов.
Передайте файлы конвертации с их конфигурацией
Запишите команды преобразования, версии инструментов, поддержку оператора и известные ограничения. Для квантования сохраните охват калибровочных данных и предварительную обработку. Рассчитайте и сохраните контрольную сумму выходного файла модели. Свяжите этот файл с исходной моделью и журналами преобразования. Сообщение об успешном преобразовании не устанавливает принятый вывод на целевом устройстве.
Сравните результаты на одних и тех же образцах
Сначала проверьте входные тензоры, а затем сравните выходные данные исходной и развернутой моделей. Проверьте результаты классификации, ограничивающие рамки или другие фактические результаты задачи, используя согласованные допуски и показатели качества. Сохраняйте противоречивые примеры и пояснения. Перечислите недостаточные образцы и условия, которые не были проверены, как непроверенные.
Измеряйте рабочую нагрузку и проверяйте восстановление
В рамках согласованной параллельной рабочей нагрузки запишите временные рамки, образцы, ресурсы и исключения. Отдельно проверяйте запуск, сбой загрузки модели, перезапуск процесса и откат версии. Предоставляйте модели, конфигурации, зависимости, результаты сравнения и открытые проблемы. Добавьте проверку при увеличении параллелизма или продолжительности работы позже.
Информацию о масштабах преобразования и оценки см. Документация по квантованию среды выполнения ONNX.