Bắt đầu kế hoạch triển khai mô hình biên bằng cách xác nhận nguồn mô hình và các mục đích sử dụng được phép, định nghĩa đầu vào và đầu ra, phiên bản phần mềm và thiết bị đích. Bảo quản mô hình ban đầu, mẫu đại diện, định nghĩa nhãn và kết quả hiện có. Bắt đầu bằng việc triển khai thử nghiệm có giới hạn và thống nhất các tiêu chí chấp nhận về chức năng, chất lượng nhiệm vụ và giới hạn tài nguyên.

Bàn giao các tập tin chuyển đổi với cấu hình của chúng

Ghi lại các lệnh chuyển đổi, phiên bản công cụ, hỗ trợ người vận hành và các hạn chế đã biết. Để lượng tử hóa, giữ lại phạm vi bao phủ và xử lý trước dữ liệu hiệu chuẩn. Tính toán và lưu tổng kiểm tra tệp mô hình đầu ra. Liên kết tệp đó với mô hình gốc và nhật ký chuyển đổi. Thông báo chuyển đổi thành công không thiết lập suy luận được chấp nhận trên thiết bị đích.

So sánh kết quả đầu ra trên cùng một mẫu

Trước tiên, hãy kiểm tra các tensor đầu vào, sau đó so sánh đầu ra từ mô hình ban đầu và mô hình đã triển khai. Kiểm tra kết quả phân loại, hộp giới hạn hoặc kết quả đầu ra của nhiệm vụ thực tế khác bằng cách sử dụng dung sai và số liệu chất lượng đã được thống nhất. Lưu các mẫu và giải thích không nhất quán. Liệt kê các mẫu không đủ và điều kiện chưa được kiểm tra là chưa được xác minh.

Đo khối lượng công việc và kiểm tra khả năng phục hồi

Theo khối lượng công việc đồng thời đã thỏa thuận, hãy ghi lại ranh giới thời gian, mẫu, tài nguyên và ngoại lệ. Kiểm tra riêng việc khởi động, lỗi tải mô hình, khởi động lại quá trình và khôi phục phiên bản. Cung cấp mô hình, cấu hình, phần phụ thuộc, kết quả so sánh và các vấn đề mở. Thêm xác minh khi tăng tính đồng thời hoặc thời lượng hoạt động sau này.

Để biết phạm vi chuyển đổi và đánh giá, hãy xem Tài liệu lượng tử hóa thời gian chạy ONNX.