Khi thay đổi phần phụ trợ suy luận, hãy ghi lại thời gian chạy, trình điều khiển, công cụ chuyển đổi, tệp mô hình và cấu hình thực thi. Kiểm tra nơi hoạt động thực sự chạy và liệu dự phòng có xảy ra hay không. Việc tải một mô hình sẽ hoàn thành bước đó. Các mẫu đã được thống nhất vẫn cần thiết để kiểm tra kết quả và việc sử dụng tài nguyên.

So sánh kết quả đầu ra sau khi thay đổi độ chính xác bằng số

Việc thay đổi độ chính xác bằng số có thể thay đổi kết quả bằng số và việc thực hiện toán tử. Tài liệu lượng tử hóa ONNX Runtime nêu rõ rằng lượng tử hóa không phải là không mất dữ liệu và phải kiểm tra độ chính xác. So sánh các mô hình ban đầu và mô hình đã triển khai bằng cách sử dụng các mẫu đại diện và số liệu nhiệm vụ. Lưu các mẫu có kết quả khác nhau, cùng với các ngưỡng và phiên bản đánh giá.

Tiền xử lý xác định đầu vào mô hình

Ghi lại thứ tự kênh màu, thay đổi kích thước, cắt xén, đệm, chuẩn hóa và bố cục tensor. Liên kết các mẫu ban đầu với các tensor đầu vào thực tế và so sánh nội dung được chuyển đổi. Nêu rõ liệu quá trình tiền xử lý có chạy trên CPU hay bộ tăng tốc hay không và liệu việc sao chép có được tính vào thời gian hay không.

Xác minh cài đặt tối ưu hóa trong môi trường đích

Tài liệu tối ưu hóa biểu đồ ONNX Runtime yêu cầu các tùy chọn và phần cứng phù hợp khi sử dụng tối ưu hóa ngoại tuyến. Lưu mô hình và cấu hình được tối ưu hóa. Kiểm tra lại chức năng, thời gian và tài nguyên trong môi trường mục tiêu. Báo cáo việc thực hiện mô hình riêng biệt với đường dẫn ứng dụng bao gồm giải mã video, tiền xử lý và xử lý đầu ra.

Nhìn thấy tài liệu lượng tử hóa Và tài liệu tối ưu hóa đồ thị.