Đánh giá nền tảng tầm nhìn đa luồng bằng cách sử dụng khối lượng công việc kinh doanh và video thực tế. Công suất bộ xử lý được quảng cáo, điểm chuẩn mô hình riêng biệt và bản trình diễn một luồng chỉ mô tả các phần trong điều kiện tương ứng của chúng. Việc mua sắm nên đặt các luồng, chế độ hình ảnh, mô hình, tác vụ ghi và tương tác dự định vào một cấu hình xác minh.
Chia khối lượng công việc thành các giai đoạn có thể quan sát được
| Sân khấu | Đầu vào chính | Thông tin cần ghi lại |
|---|---|---|
| Đầu vào và giải mã video | Luồng, codec, độ phân giải, tốc độ bit và thời gian | Tiếp nhận thực tế, khung hợp lệ và lỗi giải mã |
| Tiền xử lý và chuyển giao | Chia tỷ lệ, chuyển đổi, bố trí bộ nhớ và sao chép | Thời gian xử lý, bộ nhớ và hàng đợi |
| Suy luận mô hình | Phiên bản mô hình, hình dạng đầu vào, định dạng số và phần phụ trợ | Độ trễ suy luận, thông lượng và sử dụng tài nguyên |
| Xử lý hậu kỳ và quy tắc kinh doanh | Phát hiện, theo dõi, hợp nhất và giao diện | Thời gian tạo kết quả và ghi nhận kinh doanh |
| Lưu trữ, hiển thị và vận hành | Hình ảnh, bằng chứng, ghi âm, giao diện người dùng và nhật ký | Hiệu ứng đồng thời, công suất và trạng thái lỗi |
Việc chuyển giữa các giai đoạn cũng tiêu tốn tài nguyên. Tăng tốc một giai đoạn có thể chuyển nút cổ chai sang giải mã, bộ nhớ, lưu trữ hoặc giao diện doanh nghiệp. Chỉ riêng thời gian suy luận không xác định được cấu hình thiết bị.
Xác định thông lượng và độ trễ riêng biệt
Thông lượng mô tả các nhiệm vụ đã hoàn thành trong một khoảng thời gian xác định. Độ trễ mô tả thời gian trôi qua giữa điểm bắt đầu và điểm kết thúc được xác định cho một tác vụ. Ghi lại kết quả đầu ra hợp lệ trên mỗi luồng cùng với kết quả tổng hợp để tổng số không ẩn luồng chờ vô thời hạn.
Tài liệu chuẩn OpenVINO chính thức báo cáo độ trễ suy luận và thông lượng riêng biệt, đồng thời ghi lại ảnh hưởng của môi trường thử nghiệm. Đây là tham chiếu đo lường, không phải bằng chứng về hiệu suất của thiết bị tùy ý hoặc hệ thống hoàn chỉnh.
Khắc phục điều kiện trước khi so sánh nền tảng
Ghi lại mô hình và đầu vào, giải mã và suy luận phụ trợ, hệ điều hành và trình điều khiển, các tác vụ đồng thời, chế độ nguồn và làm mát. Phân biệt khởi động, vận hành ổn định và phục hồi. Giải thích lại sự so sánh khi mô hình, kích thước, định dạng số hoặc chính sách lưu trữ thay đổi.
Mua sắm và xác minh thí điểm
Bắt đầu với các chế độ hoạt động mục tiêu và video đại diện, sau đó tăng cường các luồng và chức năng đồng thời. Chỉ định chính sách đầu vào và đầu ra của từng luồng, độ trễ từ đầu đến cuối, khung hình bị rớt hoặc lấy mẫu có chủ ý, tài nguyên và thời lượng. Nếu không kiểm tra quy mô mục tiêu, hãy đánh dấu dung lượng là đang chờ xác minh thay vì hứa hẹn số lượng luồng cố định.
Các dịch vụ liên quan: Triển khai và tối ưu hóa AI biên, thu thập hình ảnh nhúng Và yêu cầu dự án.