Voor aanschaf of evaluatie van edge-inferentie definieert u de taak en de statistieken die u wilt vergelijken. Bewaar het modelbestand, de invoerafmetingen, batchgrootte, numerieke precisie, runtime en hardwareconfiguratie met de resultaten. Dezelfde modelnaam alleen bewijst niet dat de uitvoering identiek is. Versie het geconverteerde bestand en de configuratie ervan.
Definieer de invoer- en timinggrenzen
Gebruik vaste voorbeelden en afgesproken voor- en uitvoerverwerkingsregels. Meet de modeluitvoering, het kopiëren van gegevens, videodecodering en applicatielatentie afzonderlijk. Vermeld de begin- en eindgebeurtenissen en de synchronisatiemethode. Registreer de opwarming en gemeten monsters. De uitvoeringstijd van één modelbewerking vertegenwoordigt niet de totale latentie van de applicatie.
Registreer gedeelde bronnen en gelijktijdige werklasten
Geef gelijktijdige videostreams, transcodering, opname en andere taken op. Registreer CPU-, geheugen- en acceleratorbelasting. ONNX Runtime threading-documentatie beschrijft uitvoeringsmodi en threadconfiguratie. Meet de daadwerkelijke configuratie op het doelapparaat onder de beoogde werklast. Meer threads vormen geen belofte voor een snellere levering.
Resultaten leveren met de toepasselijke voorwaarden
Controleer de output met behulp van dezelfde voorbeelden en overeengekomen kwaliteitsstatistieken, en vergelijk vervolgens latentieverdelingen, doorvoer en resourcerecords. Rapporteer metrische definities, steekproefdekking en uitzonderingen. Breid het resultaat van de uitvoering van een model niet uit naar gelijktijdigheid op het hele apparaat, stabiliteit op lange termijn of andere inputs.