実際のビデオとビジネスのワークロードを使用して、マルチストリーム ビジョン プラットフォームを評価します。宣伝されているプロセッサー容量、分離モデルのベンチマーク、および単一ストリームのデモンストレーションは、それぞれの条件の一部のみを説明しています。調達では、目的のストリーム、画像モード、モデル、記録および対話タスクを 1 つの検証構成に配置する必要があります。

ワークロードを観察可能な段階に分割する

ステージ 主な入力 記録する情報
ビデオ入力とデコード ストリーム、コーデック、解像度、ビットレート、タイミング 実際の受信、有効なフレーム、およびデコードエラー
前処理と転送 スケーリング、変換、メモリレイアウト、コピー 処理時間、メモリ、キューの待機時間
モデル推論 モデルのバージョン、入力形状、数値形式、バックエンド 推論のレイテンシ、スループット、リソース使用量
後処理とビジネスルール 検出、追跡、融合、インターフェース 結果の生成とビジネスの確認にかかる時間
保管、表示、操作 画像、証拠、記録、UI、ログ 同時発生の影響、容量、およびエラー状態

ステージ間の移動にもリソースが消費されます。 1 つのステージを高速化すると、ボトルネックがデコード、メモリ、ストレージ、またはビジネス インターフェイスに移動する可能性があります。推論時間だけではデバイス構成は定義されません。

スループットとレイテンシを個別に定義する

スループットは、指定された間隔で完了したタスクを表します。レイテンシは、タスクの定義された開始点と終了点の間の経過時間を表します。合計によって無期限に待機するストリームが隠蔽されないように、集計結果とともにストリームごとの有効な出力を記録します。

OpenVINO ベンチマークの公式ドキュメント 推論レイテンシとスループットを個別にレポートし、テスト環境の影響を記録します。これは測定基準であり、任意のデバイスまたはシステム全体のパフォーマンスの証拠ではありません。

プラットフォームを比較する前に条件を修正する

モデルと入力、デコードと推論バックエンド、OS とドライバー、同時タスク、電力モードと冷却を記録します。ウォームアップ、定常運転、回復を区別します。モデル、寸法、数値形式、ストレージ ポリシーが変更された場合は、再度比較を説明します。

調達とパイロットの検証

代表的なビデオとターゲット動作モードから始めて、ストリームと同時機能を増やします。各ストリームの入力と出力、エンドツーエンドの遅延、ドロップ フレームまたは意図的なサンプリング ポリシー、リソース、および期間を指定します。ターゲット規模のテストを行わない場合は、固定ストリーム数を約束するのではなく、容量を検証保留としてマークします。

関連サービス: エッジ AI の導入と最適化, 埋め込み画像の取得 そして プロジェクトのお問い合わせ.