Mulai rencana penerapan model edge dengan mengonfirmasi sumber model dan penggunaan yang diizinkan, definisi input dan output, perangkat target, dan versi perangkat lunak. Pertahankan model asli, sampel representatif, definisi label, dan hasil yang ada. Mulailah dengan uji coba penerapan terbatas dan sepakati kriteria penerimaan untuk fungsi, kualitas tugas, dan batasan sumber daya.

Serahkan file konversi dengan konfigurasinya

Catat perintah konversi, versi alat, dukungan operator, dan batasan yang diketahui. Untuk kuantisasi, pertahankan cakupan data kalibrasi dan prapemrosesan. Hitung dan simpan checksum file model keluaran. Tautkan file itu ke model asli dan log konversi. Pesan konversi yang berhasil tidak menghasilkan kesimpulan yang diterima pada perangkat target.

Bandingkan keluaran pada sampel yang sama

Periksa tensor masukan terlebih dahulu, lalu bandingkan keluaran dari model asli dan model yang diterapkan. Periksa hasil klasifikasi, kotak pembatas, atau keluaran tugas aktual lainnya menggunakan toleransi dan metrik kualitas yang disepakati. Simpan sampel dan penjelasan yang tidak konsisten. Cantumkan sampel yang tidak mencukupi dan kondisi yang tidak diuji sebagai belum diverifikasi.

Ukur beban kerja dan periksa pemulihan

Berdasarkan beban kerja bersamaan yang disepakati, catat batasan waktu, sampel, sumber daya, dan pengecualian. Periksa startup, kegagalan pemuatan model, proses restart dan rollback versi secara terpisah. Memberikan model, konfigurasi, dependensi, hasil perbandingan, dan masalah terbuka. Tambahkan verifikasi saat meningkatkan konkurensi atau durasi pengoperasian nanti.

Untuk cakupan konversi dan evaluasi, lihat Dokumentasi kuantisasi ONNX Runtime.