推論バックエンドを変更する場合は、ランタイム、ドライバー、変換ツール、モデル ファイル、および実行構成を記録します。実際に操作が実行される場所とフォールバックが発生するかどうかを確認します。モデルをロードすると、そのステップが完了します。結果とリソースの使用状況を確認するには、合意されたサンプルが引き続き必要です。

数値精度変更後の出力を比較

数値精度を変更すると、数値結果と演算子の実行が変わる可能性があります。 ONNX ランタイム量子化のドキュメントには、量子化はロスレスではないため、精度をチェックする必要があると記載されています。代表的なサンプルとタスク メトリックを使用して、元のモデルとデプロイされたモデルを比較します。結果が異なるサンプルを、しきい値と評価バージョンとともに保存します。

前処理でモデル入力を定義する

カラー チャネルの順序、サイズ変更、トリミング、パディング、正規化、テンソル レイアウトを記録します。元のサンプルを実際の入力テンソルにリンクし、変換されたコンテンツを比較します。前処理が CPU またはアクセラレータで実行されるかどうか、およびコピーがタイミングに含まれるかどうかを示します。

ターゲット環境の最適化設定を確認する

ONNX ランタイム グラフ最適化ドキュメントでは、オフライン最適化を使用する場合、一致するオプションとハードウェアが必要です。最適化されたモデルと構成を保存します。ターゲット環境の機能、時間、リソースを再確認します。ビデオのデコード、前処理、出力処理を含むアプリケーション パスとは別にモデルの実行をレポートします。

見る 量子化に関するドキュメント そして グラフ最適化ドキュメント.