Saat mengubah backend inferensi, catat runtime, driver, alat konversi, file model, dan konfigurasi eksekusi. Periksa di mana operasi sebenarnya dijalankan dan apakah terjadi fallback. Memuat model menyelesaikan langkah itu. Sampel yang disepakati masih diperlukan untuk memeriksa hasil dan penggunaan sumber daya.
Bandingkan keluaran setelah perubahan presisi numerik
Mengubah presisi numerik dapat mengubah hasil numerik dan eksekusi operator. Dokumentasi kuantisasi Runtime ONNX menyatakan bahwa kuantisasi tidak lossless dan akurasi harus diperiksa. Bandingkan model asli dan model yang diterapkan menggunakan sampel representatif dan metrik tugas. Simpan sampel yang hasilnya berbeda, beserta ambang batas dan versi evaluasi.
Pra-pemrosesan mendefinisikan masukan model
Rekam urutan saluran warna, pengubahan ukuran, pemotongan, padding, normalisasi, dan tata letak tensor. Tautkan sampel asli ke tensor masukan aktual dan bandingkan konten yang diubah. Nyatakan apakah prapemrosesan berjalan pada CPU atau akselerator dan apakah penyalinan disertakan dalam pengaturan waktu.
Verifikasi pengaturan pengoptimalan di lingkungan target
Dokumentasi pengoptimalan grafik Runtime ONNX memerlukan opsi dan perangkat keras yang cocok saat menggunakan pengoptimalan offline. Simpan model dan konfigurasi yang dioptimalkan. Periksa kembali fungsi, waktu dan sumber daya di lingkungan target. Laporkan eksekusi model secara terpisah dari jalur aplikasi yang mencakup decoding video, prapemrosesan, dan pemrosesan keluaran.
Melihat dokumentasi kuantisasi Dan dokumentasi optimasi grafik.