สำหรับการจัดซื้อหรือการประเมินการอนุมานขอบ ให้กำหนดงานและตัวชี้วัดที่จะเปรียบเทียบ บันทึกไฟล์โมเดล ขนาดอินพุต ขนาดแบตช์ ความแม่นยำเชิงตัวเลข รันไทม์ และการกำหนดค่าฮาร์ดแวร์พร้อมผลลัพธ์ ชื่อรุ่นเดียวกันเพียงอย่างเดียวไม่ได้พิสูจน์ว่าการดำเนินการเหมือนกัน เวอร์ชันของไฟล์ที่แปลงแล้วและการกำหนดค่าด้วย

กำหนดขอบเขตอินพุตและเวลา

ใช้ตัวอย่างคงที่และกฎการประมวลผลล่วงหน้าและการประมวลผลเอาท์พุตที่ตกลงกันไว้ วัดการดำเนินการของโมเดล การคัดลอกข้อมูล การถอดรหัสวิดีโอ และเวลาในการตอบสนองของแอปพลิเคชันแยกจากกัน ระบุเหตุการณ์เริ่มต้นและสิ้นสุดและวิธีการซิงโครไนซ์ บันทึกการอุ่นเครื่องและตัวอย่างที่วัดได้ เวลาดำเนินการของการดำเนินการแบบจำลองหนึ่งไม่ได้แสดงถึงเวลาแฝงของแอปพลิเคชันทั้งหมด

บันทึกทรัพยากรที่ใช้ร่วมกันและปริมาณงานที่เกิดขึ้นพร้อมกัน

ระบุสตรีมวิดีโอ การแปลงรหัส การบันทึก และงานอื่นๆ พร้อมกัน บันทึกโหลด CPU หน่วยความจำ และตัวเร่งความเร็ว เอกสารประกอบเธรดรันไทม์ของ ONNX อธิบายโหมดการดำเนินการและการกำหนดค่าเธรด วัดการกำหนดค่าจริงบนอุปกรณ์เป้าหมายภายใต้ปริมาณงานที่ต้องการ จำนวนเธรดที่มากขึ้นไม่ถือเป็นคำมั่นสัญญาว่าจะจัดส่งได้เร็วขึ้น

ส่งมอบผลลัพธ์ตามเงื่อนไขที่บังคับใช้

ตรวจสอบผลลัพธ์โดยใช้ตัวอย่างเดียวกันและตัวชี้วัดคุณภาพที่ตกลงกัน จากนั้นเปรียบเทียบการกระจายเวลาแฝง ปริมาณการประมวลผล และบันทึกทรัพยากร รายงานคำจำกัดความของเมตริก ความครอบคลุมของตัวอย่าง และข้อยกเว้น อย่าขยายผลการดำเนินการโมเดลเดียวไปสู่การทำงานพร้อมกันทั้งอุปกรณ์ ความเสถียรในระยะยาว หรืออินพุตอื่นๆ

ดู การจัดการเธรดรันไทม์ ONNX.