Tutkijat kehittivät tekoälyä hyödyntävän sensorin, joka pystyy ennustamaan liikkuvien hahmojen reitin reaaliajassa – voi johtaa harppaukseen älyliikenteessä

Aalto-yliopiston tutkijat ovat rakentaneet koneoppimista hyödyntävän sensorin, joka tunnistaa liikkuvat hahmot yksittäisestä videon pysäytyskuvasta ja kykenee menestyksekkäästi ennustamaan, mihin ja millä nopeudella ne seuraavaksi liikkuvat. Tutkimus julkaistiin äskettäin arvostetussa Nature Communications -lehdessä.

Nykyisin liikkeentunnistus perustuu teknologiaan, joka tallentaa liikkuvaa kuvaa ympäristöstään ja vertailee algoritmin avulla ruutu kerrallaan kuvissa tapahtuneita muutoksia. Jokainen sensorin ottama pysäytyskuva lähetetään tietokoneelle ja analysoidaan erikseen, joten laitteet vievät paljon energiaa. Ne myös tarvitsevat toimiakseen paljon erilaisia komponentteja ja monimutkaisia algoritmeja.

Aalto-yliopiston tutkijoiden kehittämä uusi sensori yhdistää havainnoimisen, muistin ja prosessoinnin. Sen toiminta perustuu ryhmään memristoreja eli muistivastuksia: pieniä laitteita, jotka reagoivat valoon tuottamalla sähkövirtaa. Valon sammuessa virta ei lopu välittömästi, vaan se hiipuu hiljalleen. Memristoreista kootulla sensorilla on siis eräänlainen “muisti” sen äskettäisistä valoaltistumisista. Sensori ei ainoastaan kameran tavoin nauhoita tietoa juuri sen hetken tilanteesta, vaan jokaiseen kuvaan sisältyy myös muistijälki aiemmista hetkistä.

“Jokaisessa yksittäisessä kuvassa oleva tieto on upotettu seuraaviin kuviin. Niinpä videon viimeisessä kuvassa on myös tieto kaikista sitä edeltävistä kuvista. Voimme siis tunnistaa aiemman liikkeen analysoimalla ainoastaan viimeistä kuvaa”, selittää tutkija Hongwei Tan teknillisen fysiikan laitokselta.

Ketterä päätöksenteko hyödyksi älyliikenteessä ja robottien ohjauksessa

Nykyiset liikkeentunnistusteknologiat analysoivat materiaalin kuva kuvalta. Uuden laitteen täytyy kyllä nähdä koko video, mutta se ei joudu pysähtymään kuin vasta viimeiseen kuvaan. Laite myös hyödyntää yksinkertaista koneoppimismallia, joka pystyy ennustamaan kuvissa näkyvien kappaleiden tulevan liikkeen tarkasti.

“Koska kaikki tarvittava tieto sisältyy laitteessamme yksittäiseen kuvaan, sensorimme välttää tarpeettomia datavirtoja. Se mahdollistaa energiatehokkaan päätöksenteon reaaliajassa”, kertoo professori Sebastiaan van Dijken.

Ketterä päätöksenteko on erityisen hyödyllistä älyliikenteen ja itseajavien autojen kehityksessä, jossa hahmojen – oli kyseessä sitten auto, polkupyörä tai vaikkapa jalankulkija – tunnistaminen ja niiden tulevien reittien nopea ennustaminen ovat keskeisiä haasteita.

Muita mahdollisia sovelluskohteita sensorille löytyisi muun muassa robottien ohjauksesta.

“Liikkeen tunnistaminen ja ennustaminen yhdestä pysäytyskuvasta kompaktilla sensorilla, johon sisältyy sekä muisti että tietojenkäsittely, avaa uusia mahdollisuuksia autonomisten robottien sekä ihmisen ja koneen vuorovaikutukseen”, van Dijken toteaa.

Testausta sanoilla ja simuloidulla ihmisellä

Tutkijat testasivat laitettaan käyttäen videoita, joissa lyhyehköt sanat ilmestyivät ruudulle yksi kirjain kerrallaan. Kaikki sanat päättyivät E-kirjaimeen, eli jokaisen videon viimeinen kuva oli sama. Tavalliset näkösensorit eivät onnistuneet pelkän viimeisen kuvan perusteella tunnistamaan, minkä sanan lopussa viimeinen E kulloinkin esiintyi. Uuden laitteen memristorit sen sijaan pystyivät upotetun tiedon avulla päättelemään myös E:tä edeltävät kirjaimet. Laite ennusti videolla esiintyneen sanan lähes 100 prosentin tarkkuudella.

Toisessa testissä tutkijat näyttivät sensorille videoita simuloidusta ihmisestä, joka liikkui kolmella eri nopeudella. Laite kykeni sekä tunnistamaan hahmon liikkeen yhdestä kuvasta että määrittämään sen nopeuden ja ennustamaan tulevat kuvat.