Menilai platform visi multi-aliran menggunakan video aktual dan beban kerja bisnis. Kapasitas prosesor yang diiklankan, tolok ukur model terisolasi, dan demonstrasi aliran tunggal hanya menjelaskan sebagian dari kondisinya masing-masing. Pengadaan harus menempatkan aliran yang dimaksud, mode gambar, model, perekaman, dan tugas interaksi dalam satu konfigurasi verifikasi.
Bagi beban kerja menjadi tahapan yang dapat diamati
| Panggung | Masukan utama | Informasi untuk dicatat |
|---|---|---|
| Masukan dan decoding video | Streaming, codec, resolusi, bitrate dan waktu | Penerimaan aktual, frame valid, dan kesalahan dekode |
| Pemrosesan awal dan transfer | Penskalaan, konversi, tata letak memori, dan penyalinan | Waktu pemrosesan, memori dan antrian menunggu |
| Inferensi model | Versi model, bentuk masukan, format numerik, dan backend | Latensi inferensi, throughput, dan penggunaan sumber daya |
| Pascapemrosesan dan aturan bisnis | Deteksi, pelacakan, fusi dan antarmuka | Pembuatan hasil dan waktu pengakuan bisnis |
| Penyimpanan, tampilan, dan pengoperasian | Gambar, bukti, rekaman, UI, dan log | Efek bersamaan, kapasitas dan status kesalahan |
Perpindahan antar tahapan juga menghabiskan sumber daya. Mempercepat satu tahap dapat memindahkan hambatan ke decoding, memori, penyimpanan, atau antarmuka bisnis. Waktu inferensi saja tidak menentukan konfigurasi perangkat.
Tentukan throughput dan latensi secara terpisah
Throughput menggambarkan tugas yang diselesaikan dalam interval tertentu. Latensi menggambarkan waktu yang berlalu antara titik awal dan akhir yang ditentukan untuk suatu tugas. Catat keluaran valid per aliran bersama dengan hasil agregat sehingga total tidak menyembunyikan aliran yang menunggu tanpa batas waktu.
Dokumentasi resmi benchmark OpenVINO melaporkan latensi inferensi dan throughput secara terpisah dan mencatat pengaruh lingkungan pengujian. Ini adalah referensi pengukuran, bukan bukti kinerja perangkat atau sistem yang lengkap.
Perbaiki kondisi sebelum membandingkan platform
Catat model dan input, backend decoding dan inferensi, OS dan driver, tugas bersamaan, mode daya dan pendinginan. Bedakan antara pemanasan, pengoperasian stabil, dan pemulihan. Jelaskan kembali perbandingannya ketika model, dimensi, format numerik, atau kebijakan penyimpanan berubah.
Pengadaan dan verifikasi percontohan
Mulailah dengan mode operasi video dan target yang representatif, lalu tingkatkan streaming dan fungsi bersamaan. Tentukan input dan output setiap aliran, latensi end-to-end, kebijakan pengambilan sampel frame-drop atau yang disengaja, sumber daya, dan durasi. Tanpa uji skala target, tandai kapasitas sebagai verifikasi yang tertunda daripada menjanjikan jumlah aliran yang tetap.
Layanan terkait: penerapan dan optimalisasi edge AI, akuisisi gambar tertanam Dan pertanyaan proyek.