採購或評估邊緣推理能力時,先定義要比較的任務與指標。模型文件、輸入尺寸、批大小、數值精度、運行時和硬件配置應隨結果保存。相同模型名稱不足以說明實際執行內容相同,轉換後的文件與配置也需要對應版本。

寫清輸入與計時範圍

固定樣本、圖像預處理和輸出處理規則。分別計量模型執行、數據複製、解碼和業務端到端時延,說明起止事件與同步方式。記錄預熱和正式採樣範圍,不能用單個算子的耗時替代應用整體時延。

記錄共享資源與併發負載

說明同期視頻路數、轉碼、錄像及其他任務,記錄CPU、內存和加速器負載。ONNX Runtime線程文檔說明了執行方式和線程配置。實際配置需要在目標設備與工作負載下測量,增加線程數並不構成更快的交付承諾。

比較結果與適用條件一同交付

使用相同樣本和約定的質量指標核對輸出,再比較時延分佈、吞吐量及資源記錄。報告統計口徑、採樣範圍和異常,不將某次模型執行結果擴大為整機併發、長期穩定性或其他輸入的結論。

參見ONNX Runtime線程管理。