Setelah perubahan backend inferensi, hasil sebelumnya dapat berfungsi sebagai bahan perbandingan. Kesimpulan fungsi, kualitas tugas, dan kinerja untuk lingkungan baru memerlukan bukti yang sesuai. Catat perubahan pada file model, konfigurasi konversi, masukan, keluaran, dan ketergantungan perangkat lunak sebelum menentukan cakupan pengujian ulang.
Apa yang tersisa setelah konversi berhasil?
Konfirmasikan eksekusi model aktual pada perangkat target. Periksa tensor masukan, bidang keluaran, pengecualian, dan fallback. Gunakan sampel yang representatif untuk membandingkan klasifikasi, deteksi, atau keluaran tugas lainnya, dengan tetap mempertahankan perbedaan dan toleransi. Kondisi yang tidak diuji tidak dapat dilaporkan sebagai kompatibilitas terverifikasi.
Bagaimana seharusnya kinerja dibandingkan lagi?
Jaga agar input, ukuran batch, pemanasan, batasan waktu, dan beban kerja bersamaan tidak berubah di setiap perbandingan. Rekam eksekusi model dan latensi aplikasi secara terpisah. Bandingkan distribusi sampel dan penggunaan sumber daya. Nyatakan perubahan pada presisi numerik, threading, atau lokasi penyalinan data. Membandingkan dua waktu yang ditampilkan saja tidak cukup.
Catatan apa yang termasuk dalam serah terima?
Simpan versi model dan checksum, konfigurasi lingkungan, sampel, perbandingan keluaran, catatan kinerja, dan masalah terbuka. Konfirmasikan jalur startup, penanganan kegagalan, restart dan rollback. Kesimpulan tentang tugas simultan, operasi jangka panjang, atau kinerja lokasi memerlukan bukti yang mencakup kondisi sebenarnya.