更換推理後端時,應記錄運行時、驅動、轉換工具、模型文件和執行配置。核對實際執行位置與回退情況。模型成功載入只說明完成該步驟,仍需用約定樣本檢查結果及資源消耗。

數值精度變化需要結果對照

精度格式變化可能改變數值結果和算子執行方式。ONNX Runtime量化文檔指出量化並非無損過程,需要檢查準確性。使用代表性樣本和目標任務指標對照原模型與部署模型,保留差異樣本、閾值和評估版本。

預處理屬於模型輸入定義

記錄顏色通道順序、縮放、裁剪、填充、歸一化和張量佈局。將原始樣本與實際輸入張量關聯,比較變換後的內容。預處理在CPU還是加速器執行、是否包含複製,也要寫入計時範圍。

優化配置隨目標環境驗證

ONNX Runtime圖優化文檔要求離線優化時使用與目標一致的選項和硬件條件。保存優化後的模型和配置,在目標環境複查功能、耗時及資源。分別報告模型執行與包含解碼、預處理和輸出處理的應用鏈路。

參見量化說明與圖優化說明。