Slik kan Forsvaret bruke sensorer smartere

Simonsen er seniorforsker ved FFI og droneoperatør for anledningen. Han har selv laget programmet han akkurat nå bruker for å styre fire droner som flyr samtidig over skytefeltet.

Rundt ham står soldater og offiserer fra ulike avdelinger i Forsvaret. De er her for se hvordan data fra ulike kameraer, radarer, mikrofoner og andre sensorer kan settes sammen for å gi en soldat overlegen situasjonsforståelse. En mer effektiv og smartere bruk av slike sensorer vil bli en viktig del av fremtidens bakkeoperasjoner.

Enkle kommandoer

I flere uker har forskerne jobbet intenst med å programmere, teste, programmere, teste og programmere litt til. Den siste koden ble skrevet bare noen minutter før gjestene kom.

– Jeg var inspirert av spillet Starcraft da jeg programmerte brukergrensesnittet, forklarer Simonsen. 

– Den som styrer dronene skal slippe å tenke på hvor hver av dronene er til enhver tid. I stedet har vi laget en meny med ulike kommandoer som dronene kan utføre. Akkurat nå har de fått beskjed om å dekke et bestemt område. De kan også få beskjed om å dekke en posisjon, søke etter et objekt, følge et objekt, flytte seg til et annet område, eller fly hjem. De er programmert slik at de løser oppgaven på egen hånd uten å kollidere.

– Kan disse dronene fungere som rele for tropper på bakken?, lurer en av offiserene.

– Ja. De funker som kommunikasjonsnettverk for hverandre, så de kan i prinsippet også brukes som nettverk eller bindeledd mellom soldater, svarer Simonsen.

Forsvarets sandkasse

Utenfor går to av dronene inn for landing for å lade batteriene. Like ved står et ubemannet kjøretøy på en tilhenger på grunn av tekniske problemer.

– Det er ikke alltid ting går som planlagt på live-demonstrasjoner som dette, medgir Lorns Bakstad, han er forskningsleder for kampsystemer ved FFI.

– Dette er på en måte Forsvarets sandkasse. Ikke alt vil bli brukt i virkeligheten. Poenget er å vise mulighetene som ligger i ny teknologi, hvordan nyskapende teknologi og nye løsninger kan bidra til å endre fremtidens stridsfelt.

FFI har forsket på sensorteknologi i en årrekke. Hvert domene har sine egne utfordringer når det gjelder å skaffe seg oversikt.

– Det vi har vist her i dag er hvordan en dronesverm og et ubemannet kjøretøy kan fungere som fremskutte sensorer for et stridskjøretøy. Da øker du drastisk evnen til å oppdage og følge personer og kjøretøyer i nærheten, sier Bakstad.

I et kupert landskap eller bymiljø er droner uvurderlig for å få oversikt. En stridsvogn utstyrt med radar og kamera er avhengig av fri sikt for å fange opp aktivitet. Dronene og ubemannede kjøretøyer kan sendes opp for å finne ut hva som befinner seg bak et skogholt eller en åsrygg.

– Dronene vi bruker her i dag er bygget ved FFI. De bærer termiske kameraer som oppdager kjøretøyer og personer uansett lysforhold. I teorien kan dronene også få sensorer som fanger opp radiosignaler, radar og elektromagnetiske signaler fra virksomhet på bakken, forteller Bakstad

Sensorfusjon er nøkkelen

Ett av hovedpoengene med demonstrasjonen er at sensorene utfyller hverandre. Mikrofoner kan peile retning og finne ut hvor droner eller skudd kommer fra. Radarer er gode til å oppdage mennesker og kjøretøyer som er i bevegelse. Passive radiofrekvens-sensorer (RF-sensorer) kan finne og peile VHF og UHF-radioer som befinner seg i et område. Dronene og ubemannede kjøretøyer kan dekke områder de andre sensorene ikke ser. 

– Hvis en sensor svikter, har du andre å falle tilbake på. Det gir et system som er mer robust og pålitelig. Alle sensorer har sine styrker og svakheter, men koblet sammen på riktig måte gir de noe helt nytt, sier Bakstad.

Når informasjonen fra sensorene sendes til en operatør, for eksempel i et stridskjøretøy, er det viktig at det gjøres på en smart og lett forståelig måte, så ikke operatøren drukner i informasjon.

Radaren plukker for eksempel opp alt av bevegelser, men operatøren trenger ikke å få beskjed dersom det er en elg som kommer. Og hvis tre sensorer oppdager samme person, må systemet klare å slå informasjonen sammen slik at operatøren bare ser én prikk på sin skjerm.

– Stikkordet er hurtighet. Å finne en måte å presentere sensorinformasjon på slik at operatørene raskere skjønner hva som skjer og kan reagere, forklarer forsker Martin Vonheim Larsen. Han jobber med kunstig intelligens og er en av programmererne bak systemet som ble vist på Rena.

– Den store utfordringen ligger i å bygge en total situasjonsforståelse ut fra informasjonen fra alle enkeltsensorene. Vi ønsker å spare operatøren for all støy, men vil samtidig ikke skjule informasjon som kan være nyttig. Med et buzzord kalles dette «sensorfusjon», som er et av de store uløste problemene innen kunstig intelligens. Det er sensorfusjon Tesla, Waymo og andre sliter med når de prøver å få til selvkjørende biler, sier Vonheim Larsen.

3D-kart av hele Norge i lomma

Informasjonen fra sensorene blir matet inn i et 3D-kart soldatene kan bruke for å orientere seg. Når det dukker opp en ukjent prikk på kartet, kan operatøren trykke på den, så velger systemet det kameraet eller den sensoren som gir et best bilde av hva som befinner seg der. Et slikt system kan også være høyaktuelt å bruke i et baseforsvarskonsept.

– Operatøren kan flytte seg rundt hvor han vil i dette 3D-kartet for å se det sensorene oppdager fra ulike vinkler, forklarer forsker Sigmund Rolfsjord og peker på skjermen.

– Her har dronene oppdaget en person som ikke er synlig fra stridskjøretøyet vi opererer. Ved å bevege oss rundt i 3D-modellen kan vi finne ut hvor vi kan kjøre uten å bli sett av denne personen.

I følge forskerne er det ikke noe problem å ha 3D-kart av et stridsfelt tilgjengelig – selv ikke når du sitter i et stridskjøretøy. 

– I prinsippet kan du ha hele Norgeskartet lastet ned på din datamaskin. Det er ikke snakk om enorme datamengder. Så lager maskina 3D-modeller basert på kartdataene. Utfordringen er i så fall å ha nok datakraft til å generere terrenget og bildene du ser når du beveger deg rundt i 3D-kartet. Men etter hvert som lagringskapasitet og regnekraft blir større og større, åpnes det opp for nye muligheter også i felt, sier Rolfsjord.

Tanken er at all informasjonen skal kunne hentes ut på to små taktiske skjermer i stridskjøretøyet: En skjerm for 3D-kartet med sensorinformasjon, og en skjerm der du kan se videostrøm fra droner og ubemannede kjøretøyer.

I vinter skal forskerne jobbe videre med teknologien frem mot en ny demonstrasjon i 2021. Dette arbeidet blir en del av FFI-prosjektet «fremtidens manøversystem».

Hvor lang tid det tar før et slikt system er ferdig utviklet og klart til bruk i felt, er det ingen som vet.

– Det er flere parallelle løp her, sier seniorforsker Kim Mathiassen ved FFIs avdeling for Forsvarssystemer. Han har vært aktivitetsansvarlig for LandX20-demoen.

– Noe av det vi viste frem i dag er allerede tatt i bruk på Kongsbergs våpenstasjon, i et system for droneforsvar som er solgt til Tyskland. Andre deler er mer umodne. Vi driver stadig med videreutvikling. Underveis vil større eller mindre deler av det vi utvikler bli tatt i bruk av industrien. Men vi blir jo aldri ferdig med å utforske bruken av ny teknologi.