エッジ推論の調達または評価の場合、比較するタスクとメトリックを定義します。モデル ファイル、入力ディメンション、バッチ サイズ、数値精度、ランタイム、およびハードウェア構成を結果とともに保存します。モデル名が同じというだけでは、実行が同一であることを証明するものではありません。変換されたファイルとその構成もバージョン管理します。

入力とタイミングの境界を定義する

固定サンプルと合意された前処理および出力処理ルールを使用します。モデルの実行、データのコピー、ビデオのデコード、アプリケーションの遅延を個別に測定します。開始イベントと終了イベント、および同期方法を記述します。ウォームアップと測定されたサンプルを記録します。 1 つのモデル操作の実行時間は、アプリケーションの合計待機時間を表すものではありません。

共有リソースと同時ワークロードを記録する

同時ビデオ ストリーム、トランスコーディング、録画、その他のタスクについて説明します。 CPU、メモリ、アクセラレータの負荷を記録します。 ONNX ランタイム スレッドのドキュメントでは、実行モードとスレッド構成について説明しています。意図したワークロードの下でターゲットデバイスの実際の構成を測定します。スレッドが増えても、より速い配信が約束されるわけではありません。

該当する条件で結果を提供する

同じサンプルと合意された品質指標を使用して出力をチェックし、レイテンシの分布、スループット、リソース レコードを比較します。メトリクスの定義、サンプル カバレッジ、および例外をレポートします。 1 つのモデルの実行結果をデバイス全体の同時実行性、長期安定性、またはその他の入力に拡張しないでください。

見る ONNX ランタイム スレッド管理.