เมื่อเปลี่ยนแบ็กเอนด์การอนุมาน ให้บันทึกรันไทม์ ไดรเวอร์ เครื่องมือการแปลง ไฟล์โมเดล และการกำหนดค่าการดำเนินการ ตรวจสอบว่าการดำเนินการดำเนินการจริงที่ใดและเกิดทางเลือกสำรองหรือไม่ การโหลดแบบจำลองถือเป็นการเสร็จสิ้นขั้นตอนดังกล่าว ยังคงจำเป็นต้องมีตัวอย่างที่ตกลงกันเพื่อตรวจสอบผลลัพธ์และการใช้ทรัพยากร
เปรียบเทียบผลลัพธ์หลังจากการเปลี่ยนแปลงความแม่นยำเชิงตัวเลข
การเปลี่ยนรูปแบบความละเอียดเชิงตัวเลขอาจเปลี่ยนผลลัพธ์และการทำงานของโอเปอเรเตอร์ เอกสาร quantization ของ ONNX Runtime ระบุว่ากระบวนการนี้อาจทำให้ข้อมูลสูญเสียและต้องตรวจสอบความถูกต้อง เปรียบเทียบโมเดลต้นฉบับกับโมเดลที่นำไปใช้งานด้วยตัวอย่างที่เป็นตัวแทนและตัวชี้วัดของงาน เก็บตัวอย่างที่ให้ผลต่างกัน พร้อมเกณฑ์และเวอร์ชันการประเมิน
การประมวลผลล่วงหน้าจะกำหนดอินพุตโมเดล
บันทึกลำดับช่องสี การปรับขนาด การครอบตัด การเติม การทำให้เป็นมาตรฐาน และเค้าโครงเทนเซอร์ เชื่อมโยงตัวอย่างต้นฉบับกับเทนเซอร์อินพุตจริง และเปรียบเทียบเนื้อหาที่แปลงแล้ว ระบุว่าการประมวลผลล่วงหน้าทำงานบน CPU หรือตัวเร่งความเร็ว และรวมการคัดลอกไว้ในกำหนดเวลาหรือไม่
ตรวจสอบการตั้งค่าการปรับให้เหมาะสมในสภาพแวดล้อมเป้าหมาย
เอกสารการเพิ่มประสิทธิภาพกราฟรันไทม์ ONNX ต้องใช้ตัวเลือกและฮาร์ดแวร์ที่ตรงกัน เมื่อใช้การเพิ่มประสิทธิภาพออฟไลน์ บันทึกโมเดลและการกำหนดค่าที่ปรับให้เหมาะสม ตรวจสอบฟังก์ชัน เวลา และทรัพยากรในสภาพแวดล้อมเป้าหมายอีกครั้ง รายงานการดำเนินการโมเดลแยกจากเส้นทางแอปพลิเคชัน ซึ่งรวมถึงการถอดรหัสวิดีโอ การประมวลผลล่วงหน้า และการประมวลผลเอาต์พุต