추론 백엔드를 변경할 때 런타임, 드라이버, 변환 도구, 모델 파일 및 실행 구성을 기록합니다. 작업이 실제로 실행되는 위치와 대체가 발생하는지 확인하세요. 모델을 로드하면 해당 단계가 완료됩니다. 결과와 자원 사용을 확인하려면 합의된 샘플이 여전히 필요합니다.
수치 정밀도 변경 후 출력 비교
수치 정밀도를 변경하면 수치 결과와 연산자 실행이 변경될 수 있습니다. ONNX 런타임 양자화 문서에는 양자화가 무손실이 아니며 정확도를 확인해야 한다고 명시되어 있습니다. 대표적인 샘플과 작업 지표를 사용하여 원본 모델과 배포된 모델을 비교합니다. 임계값 및 평가 버전과 함께 결과가 다른 샘플을 저장합니다.
전처리는 모델 입력을 정의합니다.
색상 채널 순서, 크기 조정, 자르기, 패딩, 정규화 및 텐서 레이아웃을 기록합니다. 원본 샘플과 실제 입력 텐서의 대응 관계를 기록하고 변환된 콘텐츠를 비교합니다. 전처리가 CPU나 가속기에서 실행되는지, 복사가 타이밍에 포함되는지 여부를 명시합니다.
대상 환경의 최적화 설정 확인
ONNX 런타임 그래프 최적화 문서에는 오프라인 최적화를 사용할 때 일치하는 옵션과 하드웨어가 필요합니다. 최적화된 모델 및 구성을 저장합니다. 대상 환경의 기능, 시간 및 리소스를 다시 확인하십시오. 비디오 디코딩, 전처리 및 출력 처리를 포함하는 애플리케이션 경로와 별도로 모델 실행을 보고합니다.
보다 양자화 문서화 그리고 그래프 최적화 문서.