kanal, returnerer nettverkene sin beregnede tillit til NNs evne til nøyaktig å oppdage objekter i et bestemt bilde. For eksempel, hvis bildet er veldig mørkt, vil RGB-nettverket gi en lav konfidensscore. 2 DNN-er (Deep Neural Networks) kjører uten tilsyn på det smeltede datasettet og søker etter bilder der en av DNN-ene har lav selvtillit og den andre har høy score. Kanalene i bildet med høy konfidensscore brukes deretter til å lære NN for kanaler med lavere konfidensscore. Denne prosessen forbedrer ytelsen til begge DNN-ene betydelig ved å trene dem under de mest krevende forholdene. Et av resultatene er at RGB DNN-er viser store forbedringer i mørke scener og direkte gjenskinn.
C. Fusjonsbilde (R, G, B, IR) nettverk
Bruk 4D-bilder (R, G, B, IR) for å oppnå best ytelse for systemer som inkluderer både RGB- og IR-kameraer. Deteksjonspoengsummen til denne DNN er deteksjonspoengsummen til kombinasjonen av de 2 DNN-ene nevnt i seksjon B ovenfor, mens de bruker bare halvparten av beregningsressursene. Denne kombinasjonen/fusjonen vil gi de beste resultatene for et enkelt system.
Noen faktorer må imidlertid vurderes når du velger en tilnærming til fusjonsnettverk. Ved å bruke 2 forskjellige DNN-er (som vist i seksjon B), oppnår systemet redundansfaktoren som kreves for sikkerheten til autonome kjøretøy (forhindrer svikt i tilfelle okklusjon, linseskitt, svikt i en av sensorene, etc.). Dessuten kan det forbedrede RGB pluss IR-nettverket stilles inn litt mer, så fjerning av ett av kameraene (RGB eller IR) vil ikke påvirke DNN til de resterende kanalene.
![~K$MD%]1~I(A5I2V0CLV5VJ ~K$MD%]1~I(A5I2V0CLV5VJ](/Content/uploads/2022912860/20221103141405176d7ea4ab9a4b58a86732f3059d80ea.png)
A) RGB DNN trener IR DNN. B) RGB DNN og IR DNN er gjensidig trent. C) 4D-bilde DNN
for å konkludere
RGB-kameraer vil sannsynligvis forbli de primære sensorene i selvkjørende biler. I noen tilfeller blir RGB-kameraer upålitelige, og krever bruk av ekstra sensorer. Når du velger en ledsagersensor, bør følgende punkter tas i betraktning:
Sensorytelse under miljøforhold (lys, vær osv.) som påvirker RGB-kameraytelsen
sensor pris
Lett å trene AI-algoritmer og full datafusjonsevne
LWIR-kameraer tilfredsstiller perfekt alle de ovennevnte hensynene. QuadSight vision-systemet utnytter state-of-the-art kunstig intelligens-funksjoner for raskt og pålitelig å oppnå fullstendig datafusjon for å gjøre helt autonome kjøretøy til virkelighet.
![QZMYORKV~QBIF0$F7$(]2SK QZMYORKV~QBIF0$F7$(]2SK](/Content/uploads/2022912860/2022110314130934bba740251e48ed8af06968a40aa000.png)
RGB synlig lysbilde (venstre), LWIR-bilde (midt) og smeltet RGB-IR-bilde (høyre)








