عند تغيير الواجهة الخلفية للاستدلال، قم بتسجيل وقت التشغيل وبرنامج التشغيل وأداة التحويل وملف النموذج وتكوين التنفيذ. تحقق من مكان تشغيل العمليات فعليًا وما إذا كان هناك إجراء احتياطي. يؤدي تحميل النموذج إلى إكمال هذه الخطوة. لا تزال هناك حاجة للعينات المتفق عليها للتحقق من النتائج واستخدام الموارد.
مقارنة المخرجات بعد تغييرات الدقة العددية
يمكن أن يؤدي تغيير الدقة الرقمية إلى تغيير النتائج العددية وتنفيذ المشغل. تنص وثائق التكميم ONNX Runtime على أن التكميم لا يتم بدون فقدان ويجب التحقق من الدقة. قارن بين النماذج الأصلية والمنشورة باستخدام عينات تمثيلية ومقاييس المهمة. حفظ العينات التي تختلف فيها النتائج، إلى جانب الحدود وإصدارات التقييم.
تحدد المعالجة المسبقة إدخال النموذج
سجل ترتيب قنوات الألوان، وتغيير الحجم، والاقتصاص، والحشو، والتطبيع، وتخطيط الموتر. ربط العينات الأصلية بموترات الإدخال الفعلية ومقارنة المحتوى المحول. اذكر ما إذا كانت المعالجة المسبقة تعمل على وحدة المعالجة المركزية أو المسرع وما إذا كان النسخ متضمنًا في التوقيت.
التحقق من إعدادات التحسين في البيئة المستهدفة
تتطلب وثائق تحسين الرسم البياني لـ ONNX Runtime مطابقة الخيارات والأجهزة عند استخدام التحسين المسبق قبل تشغيل الاستدلال. احفظ النموذج والتكوين الأمثل. إعادة فحص الوظيفة والوقت والموارد في البيئة المستهدفة. قم بالإبلاغ عن تنفيذ النموذج بشكل منفصل عن مسار التطبيق الذي يتضمن فك تشفير الفيديو والمعالجة المسبقة ومعالجة الإخراج.