モデルのソースと許可された用途、入力と出力の定義、ターゲット デバイスとソフトウェアのバージョンを確認して、エッジ モデルの展開計画を開始します。元のモデル、代表的なサンプル、ラベル定義、および既存の結果を保存します。限定的な導入トライアルから開始し、機能、タスクの品質、リソース制限の受け入れ基準に同意します。
変換ファイルとその構成を引き渡します
変換コマンド、ツールのバージョン、オペレーターのサポート、既知の制限を記録します。量子化の場合、キャリブレーション データ カバレッジと前処理を保持します。出力モデル ファイルのチェックサムを計算して保存します。そのファイルを元のモデルと変換ログにリンクします。成功した変換メッセージは、ターゲット デバイス上で受け入れられた推論を確立しません。
同じサンプルの出力を比較する
まず入力テンソルを確認してから、元のモデルとデプロイされたモデルからの出力を比較します。合意された許容範囲と品質メトリクスを使用して、分類結果、境界ボックス、またはその他の実際のタスクの出力を確認します。矛盾したサンプルと説明を保存します。不十分なサンプルとテストされていない条件を未検証としてリストします。
作業負荷を測定し、回復を確認する
合意された同時ワークロードの下で、タイミング境界、サンプル、リソース、および例外を記録します。起動、モデルの読み込みの失敗、プロセスの再起動、バージョンのロールバックを個別に確認します。モデル、構成、依存関係、比較結果、未解決の問題を提供します。後で同時実行性や操作時間を増やす場合は、検証を追加します。
変換と評価の範囲については、を参照してください。 ONNX ランタイム量子化ドキュメント.