Uç çıkarım tedariki veya değerlendirmesi için karşılaştırılacak görevi ve ölçümleri tanımlayın. Sonuçlarla birlikte model dosyasını, giriş boyutlarını, parti boyutunu, sayısal hassasiyeti, çalışma zamanını ve donanım yapılandırmasını kaydedin. Aynı model adı tek başına uygulamanın aynı olduğunu kanıtlamaz. Dönüştürülen dosyayı ve yapılandırmasını da sürümlendirin.

Giriş ve zamanlama sınırlarını tanımlayın

Sabit örnekleri ve üzerinde anlaşmaya varılan ön işleme ve çıktı işleme kurallarını kullanın. Model yürütmeyi, veri kopyalamayı, video kod çözmeyi ve uygulama gecikmesini ayrı ayrı ölçün. Başlangıç ​​ve bitiş olaylarını ve senkronizasyon yöntemini belirtin. Isınma ve ölçülen örnekleri kaydedin. Bir model işleminin yürütme süresi, toplam uygulama gecikmesini temsil etmez.

Paylaşılan kaynakları ve eşzamanlı iş yüklerini kaydedin

Eş zamanlı video akışlarını, kod dönüştürmeyi, kaydetmeyi ve diğer görevleri belirtin. CPU, bellek ve hızlandırıcı yükünü kaydedin. ONNX Çalışma Zamanı iş parçacığı belgeleri, yürütme modlarını ve iş parçacığı yapılandırmasını açıklar. Amaçlanan iş yükü altında hedef cihazdaki gerçek yapılandırmayı ölçün. Daha fazla iş parçacığı daha hızlı teslimat vaadi anlamına gelmez.

Sonuçları geçerli koşullarıyla birlikte sunun

Aynı örnekleri ve kabul edilen kalite ölçümlerini kullanarak çıktıları kontrol edin, ardından gecikme dağılımlarını, üretilen işi ve kaynak kayıtlarını karşılaştırın. Metrik tanımlarını, örnek kapsamını ve istisnaları raporlayın. Bir model yürütme sonucunu tüm cihazın eşzamanlılığına, uzun vadeli kararlılığa veya diğer girdilere genişletmeyin.

Görmek ONNX Çalışma zamanı iş parçacığı yönetimi.