Çıkarım arka uç değişikliğinden sonra, önceki sonuçlar karşılaştırma malzemesi olarak kullanılabilir. Yeni ortama ilişkin işlev, görev kalitesi ve performans sonuçlarının ilgili kanıtlara ihtiyacı vardır. Yeniden test kapsamını tanımlamadan önce model dosyalarında, dönüştürme yapılandırmasında, girişlerde, çıkışlarda ve yazılım bağımlılıklarında yapılan değişiklikleri kaydedin.

Başarılı dönüşümden sonra geriye ne kalır?

Hedef cihazda gerçek modelin yürütülmesini onaylayın. Giriş tensörlerini, çıkış alanlarını, istisnaları ve geri dönüşü kontrol edin. Farklılıkları ve toleransları koruyarak sınıflandırma, tespit veya diğer görev çıktılarını karşılaştırmak için temsili örnekleri kullanın. Test edilmeyen koşullar doğrulanmış uyumluluk olarak raporlanamaz.

Performans tekrar nasıl karşılaştırılmalı?

Her karşılaştırma boyunca girdiyi, parti boyutunu, ısınmayı, zamanlama sınırlarını ve eşzamanlı iş yükünü değiştirmeden tutun. Model yürütmeyi ve uygulama gecikmesini ayrı ayrı kaydedin. Örnek dağılımları ve kaynak kullanımını karşılaştırın. Sayısal hassasiyet, iş parçacığı veya veri kopyalama konumundaki durum değişiklikleri. Görüntülenen iki zamanı karşılaştırmak tek başına yeterli değildir.

Devir tesliminde hangi kayıtlar yer alıyor?

Hem model sürümlerini hem de sağlama toplamlarını, ortam yapılandırmalarını, örnekleri, çıktı karşılaştırmalarını, performans kayıtlarını ve açık sorunları saklayın. Başlatma, arıza yönetimi, yeniden başlatma ve geri alma yollarını onaylayın. Eş zamanlı görevler, uzun süreli operasyon veya saha performansı ile ilgili sonuçlar, gerçek koşulları kapsayan kanıtlara ihtiyaç duyar.

Görmek ONNX Çalışma zamanı grafiği optimizasyonu belgeleri.