에지 추론 조달 또는 평가를 위해 비교할 작업과 측정항목을 정의합니다. 결과와 함께 모델 파일, 입력 치수, 배치 크기, 수치 정밀도, 런타임 및 하드웨어 구성을 저장합니다. 동일한 모델명만으로는 성능이 동일하다는 것을 증명할 수 없습니다. 변환된 파일과 해당 구성의 버전도 지정합니다.

입력 및 타이밍 경계 정의

고정된 샘플과 합의된 전처리 및 출력 처리 규칙을 사용합니다. 모델 실행, 데이터 복사, 비디오 디코딩 및 애플리케이션 대기 시간을 별도로 측정합니다. 시작 및 종료 이벤트와 동기화 방법을 명시합니다. 워밍업 및 측정된 샘플을 기록합니다. 하나의 모델 작업 실행 시간은 전체 애플리케이션 대기 시간을 나타내지 않습니다.

공유 리소스 및 동시 작업 부하 기록

동시 비디오 스트림, 트랜스코딩, 녹화 및 기타 작업을 설명합니다. CPU, 메모리, 가속기 로드를 기록합니다. ONNX 런타임 스레딩 설명서에서는 실행 모드 및 스레드 구성에 대해 설명합니다. 의도한 워크로드에서 대상 장치의 실제 구성을 측정합니다. 더 많은 스레드가 더 빠른 전달을 약속하는 것은 아닙니다.

적용 가능한 조건으로 결과 제공

동일한 샘플과 합의된 품질 지표를 사용하여 출력을 확인한 다음 대기 시간 분포, 처리량 및 리소스 기록을 비교합니다. 지표 정의, 샘플 적용 범위 및 예외를 보고합니다. 하나의 모델 실행 결과를 전체 장치 동시성, 장기 안정성 또는 기타 입력으로 확장하지 마십시오.

보다 ONNX 런타임 스레드 관리.