Neural Network Data Fusion for selvkjørende biler

Nov 04, 2022

Legg igjen en beskjed

kanal, returnerer nettverkene sin beregnede tillit til NNs evne til nøyaktig å oppdage objekter i et bestemt bilde. For eksempel, hvis bildet er veldig mørkt, vil RGB-nettverket gi en lav konfidensscore. 2 DNN-er (Deep Neural Networks) kjører uten tilsyn på det smeltede datasettet og søker etter bilder der en av DNN-ene har lav selvtillit og den andre har høy score. Kanalene i bildet med høy konfidensscore brukes deretter til å lære NN for kanaler med lavere konfidensscore. Denne prosessen forbedrer ytelsen til begge DNN-ene betydelig ved å trene dem under de mest krevende forholdene. Et av resultatene er at RGB DNN-er viser store forbedringer i mørke scener og direkte gjenskinn.


C. Fusjonsbilde (R, G, B, IR) nettverk


Bruk 4D-bilder (R, G, B, IR) for å oppnå best ytelse for systemer som inkluderer både RGB- og IR-kameraer. Deteksjonspoengsummen til denne DNN er deteksjonspoengsummen til kombinasjonen av de 2 DNN-ene nevnt i seksjon B ovenfor, mens de bruker bare halvparten av beregningsressursene. Denne kombinasjonen/fusjonen vil gi de beste resultatene for et enkelt system.


Noen faktorer må imidlertid vurderes når du velger en tilnærming til fusjonsnettverk. Ved å bruke 2 forskjellige DNN-er (som vist i seksjon B), oppnår systemet redundansfaktoren som kreves for sikkerheten til autonome kjøretøy (forhindrer svikt i tilfelle okklusjon, linseskitt, svikt i en av sensorene, etc.). Dessuten kan det forbedrede RGB pluss IR-nettverket stilles inn litt mer, så fjerning av ett av kameraene (RGB eller IR) vil ikke påvirke DNN til de resterende kanalene.

~K$MD%]1~I(A5I2V0CLV5VJ


A) RGB DNN trener IR DNN. B) RGB DNN og IR DNN er gjensidig trent. C) 4D-bilde DNN

for å konkludere

RGB-kameraer vil sannsynligvis forbli de primære sensorene i selvkjørende biler. I noen tilfeller blir RGB-kameraer upålitelige, og krever bruk av ekstra sensorer. Når du velger en ledsagersensor, bør følgende punkter tas i betraktning:


Sensorytelse under miljøforhold (lys, vær osv.) som påvirker RGB-kameraytelsen

sensor pris

Lett å trene AI-algoritmer og full datafusjonsevne

LWIR-kameraer tilfredsstiller perfekt alle de ovennevnte hensynene. QuadSight vision-systemet utnytter state-of-the-art kunstig intelligens-funksjoner for raskt og pålitelig å oppnå fullstendig datafusjon for å gjøre helt autonome kjøretøy til virkelighet.

QZMYORKV~QBIF0$F7$(]2SK

RGB synlig lysbilde (venstre), LWIR-bilde (midt) og smeltet RGB-IR-bilde (høyre)