ประเมินแพลตฟอร์มการมองเห็นแบบหลายสตรีมโดยใช้วิดีโอจริงและปริมาณงานทางธุรกิจ ความจุของโปรเซสเซอร์ที่โฆษณา การวัดประสิทธิภาพโมเดลแบบแยก และการสาธิตแบบสตรีมเดียวจะอธิบายเพียงบางส่วนของเงื่อนไขที่เกี่ยวข้อง การจัดซื้อควรวางสตรีม โหมดรูปภาพ แบบจำลอง การบันทึก และการโต้ตอบที่ต้องการไว้ในการกำหนดค่าการตรวจสอบเดียว
แบ่งภาระงานออกเป็นขั้นตอนที่สามารถสังเกตได้
| เวที | อินพุตหลัก | ข้อมูลที่จะบันทึก |
|---|---|---|
| อินพุตวิดีโอและการถอดรหัส | สตรีม ตัวแปลงสัญญาณ ความละเอียด บิตเรต และเวลา | การรับจริง เฟรมที่ถูกต้อง และข้อผิดพลาดในการถอดรหัส |
| การประมวลผลล่วงหน้าและการถ่ายโอน | การปรับขนาด การแปลง เค้าโครงหน่วยความจำ และการคัดลอก | เวลาในการประมวลผล หน่วยความจำ และการรอคิว |
| การอนุมานแบบจำลอง | เวอร์ชันของโมเดล รูปร่างอินพุต รูปแบบตัวเลข และแบ็กเอนด์ | เวลาแฝงในการอนุมาน ปริมาณงาน และการใช้ทรัพยากร |
| การประมวลผลภายหลังและกฎเกณฑ์ทางธุรกิจ | การตรวจจับ การติดตาม ฟิวชั่น และอินเทอร์เฟซ | การสร้างผลลัพธ์และเวลาในการรับทราบธุรกิจ |
| การจัดเก็บ การจัดแสดง และการดำเนินงาน | รูปภาพ หลักฐาน การบันทึก UI และบันทึก | ผลกระทบ ความจุ และสถานะข้อผิดพลาดที่เกิดขึ้นพร้อมกัน |
การถ่ายโอนระหว่างสเตจยังใช้ทรัพยากรอีกด้วย การเร่งขั้นตอนหนึ่งอาจย้ายปัญหาคอขวดไปสู่การถอดรหัส หน่วยความจำ การจัดเก็บข้อมูล หรืออินเทอร์เฟซทางธุรกิจ เวลาอนุมานเพียงอย่างเดียวไม่ได้กำหนดการกำหนดค่าอุปกรณ์
กำหนดปริมาณงานและเวลาแฝงแยกกัน
ปริมาณงานจะอธิบายงานที่เสร็จสมบูรณ์ในช่วงเวลาที่กำหนด เวลาแฝงจะอธิบายเวลาที่ผ่านไประหว่างจุดเริ่มต้นและจุดสิ้นสุดที่กำหนดไว้สำหรับงาน บันทึกเอาต์พุตที่ถูกต้องต่อสตรีมควบคู่ไปกับผลลัพธ์รวม ดังนั้นผลรวมจึงไม่ซ่อนสตรีมที่รออย่างไม่มีกำหนด
เอกสารการวัดประสิทธิภาพ OpenVINO อย่างเป็นทางการ รายงานเวลาแฝงในการอนุมานและปริมาณงานแยกกัน และบันทึกผลกระทบของสภาพแวดล้อมการทดสอบ นี่เป็นการอ้างอิงการวัด ไม่ใช่หลักฐานเกี่ยวกับประสิทธิภาพของอุปกรณ์โดยอำเภอใจหรือประสิทธิภาพของทั้งระบบ
แก้ไขเงื่อนไขก่อนเปรียบเทียบแพลตฟอร์ม
บันทึกโมเดลและอินพุต การถอดรหัสและการอนุมานแบ็กเอนด์ ระบบปฏิบัติการและไดรเวอร์ งานที่เกิดขึ้นพร้อมกัน โหมดพลังงาน และการระบายความร้อน แยกแยะการวอร์มอัพ การทำงานที่มั่นคง และการฟื้นตัว อธิบายการเปรียบเทียบอีกครั้งเมื่อโมเดล ขนาด รูปแบบตัวเลข หรือนโยบายการจัดเก็บมีการเปลี่ยนแปลง
การจัดซื้อจัดจ้างและการตรวจสอบนำร่อง
เริ่มต้นด้วยวิดีโอตัวแทนและโหมดการทำงานเป้าหมาย จากนั้นเพิ่มสตรีมและฟังก์ชันที่ทำงานพร้อมกัน ระบุอินพุตและเอาต์พุตของแต่ละสตรีม เวลาแฝงจากต้นทางถึงปลายทาง เฟรมที่ตกหล่นหรือนโยบายการสุ่มตัวอย่างตามเจตนา ทรัพยากร และระยะเวลา หากไม่มีการทดสอบในระดับเป้าหมาย ให้ทำเครื่องหมายความจุว่ารอการตรวจสอบ แทนที่จะสัญญาว่าจะมีจำนวนสตรีมคงที่
บริการที่เกี่ยวข้อง: การใช้งานและการเพิ่มประสิทธิภาพ Edge AI, การได้มาของภาพที่ฝังอยู่ และ สอบถามข้อมูลโครงการ.