Bir çıkarım arka ucunu değiştirirken çalışma zamanını, sürücüyü, dönüştürme aracını, model dosyasını ve yürütme yapılandırmasını kaydedin. İşlemlerin gerçekte nerede çalıştığını ve geri dönüşün olup olmadığını kontrol edin. Bir modelin yüklenmesi bu adımı tamamlar. Sonuçları ve kaynak kullanımını kontrol etmek için üzerinde anlaşmaya varılan örneklere hala ihtiyaç vardır.
Sayısal hassasiyet değişikliklerinden sonra çıktıları karşılaştırın
Sayısal kesinliğin değiştirilmesi sayısal sonuçları ve operatör uygulamasını değiştirebilir. ONNX Çalışma Zamanı niceleme belgeleri, nicelemenin kayıpsız olmadığını ve doğruluğun kontrol edilmesi gerektiğini belirtir. Temsili örnekleri ve görev ölçümlerini kullanarak orijinal ve dağıtılan modelleri karşılaştırın. Sonuçların farklı olduğu örnekleri, eşikler ve değerlendirme sürümleriyle birlikte kaydedin.
Ön işleme model girişini tanımlar
Renk kanalı sırasını, yeniden boyutlandırmayı, kırpmayı, doldurmayı, normalleştirmeyi ve tensör düzenini kaydedin. Orijinal örnekleri gerçek giriş tensörlerine bağlayın ve dönüştürülen içeriği karşılaştırın. Ön işlemenin CPU'da mı yoksa hızlandırıcıda mı çalıştığını ve kopyalamanın zamanlamaya dahil edilip edilmediğini belirtin.
Hedef ortamdaki optimizasyon ayarlarını doğrulayın
ONNX Çalışma zamanı grafiği optimizasyonu belgeleri, çevrimdışı optimizasyon kullanılırken eşleştirme seçenekleri ve donanımı gerektirir. Optimize edilmiş modeli ve konfigürasyonu kaydedin. Hedef ortamdaki işlevi, zamanı ve kaynakları yeniden kontrol edin. Model yürütmeyi video kod çözme, ön işleme ve çıktı işlemeyi içeren uygulama yolundan ayrı olarak raporlayın.
Görmek nicemleme belgeleri Ve grafik optimizasyonu belgeleri.