Untuk pengadaan atau evaluasi inferensi edge, tentukan tugas dan metrik yang akan dibandingkan. Simpan file model, dimensi input, ukuran batch, presisi numerik, runtime dan konfigurasi perangkat keras beserta hasilnya. Nama model yang sama saja tidak membuktikan bahwa eksekusinya identik. Versi file yang dikonversi dan konfigurasinya juga.

Tentukan batas masukan dan waktu

Gunakan sampel tetap dan aturan pemrosesan awal dan pemrosesan keluaran yang disepakati. Ukur eksekusi model, penyalinan data, decoding video, dan latensi aplikasi secara terpisah. Nyatakan peristiwa awal dan akhir serta metode sinkronisasi. Catat pemanasan dan sampel yang diukur. Waktu eksekusi satu operasi model tidak mewakili total latensi aplikasi.

Catat sumber daya bersama dan beban kerja bersamaan

Nyatakan streaming video secara simultan, transcoding, perekaman, dan tugas lainnya. Rekam beban CPU, memori, dan akselerator. Dokumentasi threading ONNX Runtime menjelaskan mode eksekusi dan konfigurasi thread. Ukur konfigurasi sebenarnya pada perangkat target berdasarkan beban kerja yang diinginkan. Lebih banyak thread tidak menjamin pengiriman lebih cepat.

Memberikan hasil dengan ketentuan yang berlaku

Periksa output menggunakan sampel yang sama dan metrik kualitas yang disepakati, lalu bandingkan distribusi latensi, throughput, dan catatan sumber daya. Laporkan definisi metrik, cakupan sampel, dan pengecualian. Jangan memperluas satu hasil eksekusi model ke konkurensi seluruh perangkat, stabilitas jangka panjang, atau input lainnya.

Melihat Manajemen thread Runtime ONNX.