Để thu thập hoặc đánh giá suy luận biên, hãy xác định nhiệm vụ và số liệu cần so sánh. Lưu kết quả vào tệp mô hình, kích thước đầu vào, kích thước lô, độ chính xác về số, thời gian chạy và cấu hình phần cứng. Chỉ riêng tên mô hình không chứng minh được rằng việc thực thi là giống hệt nhau. Phiên bản tệp đã chuyển đổi và cấu hình của nó.

Xác định ranh giới đầu vào và thời gian

Sử dụng các mẫu cố định và các quy tắc xử lý đầu ra và tiền xử lý đã được thống nhất. Đo lường riêng biệt việc thực hiện mô hình, sao chép dữ liệu, giải mã video và độ trễ ứng dụng. Nêu rõ sự kiện bắt đầu và kết thúc cũng như phương pháp đồng bộ hóa. Ghi lại các mẫu khởi động và đo. Thời gian thực hiện của một hoạt động mô hình không biểu thị tổng độ trễ của ứng dụng.

Ghi lại các tài nguyên được chia sẻ và khối lượng công việc đồng thời

Nêu rõ các luồng video đồng thời, chuyển mã, ghi và các tác vụ khác. Ghi lại tải CPU, bộ nhớ và bộ tăng tốc. Tài liệu phân luồng thời gian chạy ONNX mô tả các chế độ thực thi và cấu hình luồng. Đo cấu hình thực tế trên thiết bị mục tiêu theo khối lượng công việc dự kiến. Nhiều chủ đề hơn không cấu thành lời hứa giao hàng nhanh hơn.

Cung cấp kết quả với các điều kiện áp dụng của họ

Kiểm tra kết quả đầu ra bằng cách sử dụng cùng một mẫu và số liệu chất lượng đã thống nhất, sau đó so sánh mức phân bổ độ trễ, thông lượng và bản ghi tài nguyên. Báo cáo định nghĩa số liệu, phạm vi mẫu và trường hợp ngoại lệ. Không mở rộng kết quả thực thi một mô hình sang tính đồng thời của toàn bộ thiết bị, độ ổn định lâu dài hoặc các đầu vào khác.

Nhìn thấy Quản lý luồng ONNX Runtime.