Kasutustundliku NAS-i roll tõhusa mehitamata õhusõidukitel põhineva põllukultuuride seire jaoks

Mehitamata õhusõidukid (UAV-d) ehk droonid muudavad tänapäeva põllumajandust, pakkudes kiireid õhust tehtud pilte põldudest. Neid kasutatakse põllukultuuride skaneerimiseks tervise, kasvufaasi, kahjurite, umbrohtude ja saagikuse hindamiseks. Näiteks Hiinas on praegu töös üle 250 000 põllumajandusdrooni ja Tais oli 2023. aastaks droonide pritsimise või seirega kaetud umbes 301 000 põllumajandusmaad. Need UAV-d muudavad põllumajanduse tõhusamaks, tuvastades kiiresti probleeme (näiteks kahjurite puhangud või veepuudus), mida maapinnal võib märkamata jätta.

Väikestel mehitamata õhusõidukitel on aga väga piiratud pardal olev arvutusvõimsus ja aku tööiga. Seetõttu on keerukate tehisintellekti nägemisalgoritmide käitamine neil reaalajas keeruline. Traditsioonilised kerged objektide tuvastamise mudelid (nagu pisikesed YOLO või MobileNeti-põhised detektorid) suudavad neid vajadusi vaid osaliselt rahuldada: need ohverdavad sageli täpsust või kiirust ning vajavad märkimisväärset käsitsi häälestamist. See lünk motiveerib juurutamisega seotud teadlikku närviarhitektuuri otsingut (NAS): automatiseeritud disainimeetodit, mis kohandab süvaõppe mudeleid väljale paigutatud mehitamata õhusõidukite täpsetele nõuetele.

Kaasaegne täppispõllumajandus kasutab põldude uurimiseks ja põllukultuuride seisundi jälgimiseks mehitamata õhusõidukeid (droone). Suurte alade kohal lennates saavad droonid teha taimede, mulla ja põllumustrite kõrge eraldusvõimega pilte. Need pildid suunatakse arvutinägemise algoritmidele, mis tuvastavad põllukultuuride hulgas umbrohtu, hindavad saagikust (nt lugedes vilju või peasid) või märkavad varajasi haiguse või toitainete puuduse märke. Näiteks võimaldavad droonid umbrohulaikudele sihipärast herbitsiidide pritsimist, vähendades kemikaalide kasutamist ja kulusid.

Droonide väikestel pardaarvutitel (mille võimsus on sageli piiratud mõne vatiga) on aga raskusi suurte närvivõrkude lennukiirusel käitamisega. See raskendab reaalajas analüüsi tegemist: kui droon näeb probleemi, peab see kiiresti reageerima või andmed enne aku tühjenemist logima. Praegused kergekaalulised detektorid (nt YOLOv8 nano, YOLO-tiny, MobileNets) on käsitsi disainitud ja hõlmavad sageli kompromisse: mudeli väiksemaks muutmine kiirendab seda, kuid võib täpsust kahjustada.

Seetõttu on suur vajadus meetodite järele, mis leiavad automaatselt parima võimaliku mudeli, arvestades mehitamata õhusõiduki piiranguid. Juurutamist toetav NAS vastab sellele vajadusele, otsides närvivõrgu arhitektuure, mis optimeerivad ühiselt tuvastustäpsust ja ressursikasutust (latentsus, võimsus, mälu) reaalsetes mehitamata õhusõidukite tingimustes. See lähenemisviis võimaldab luua spetsiaalseid mudeleid, mis töötavad droonide riistvaral tõhusalt, säilitades samal ajal suure täpsuse saagi seireülesannete jaoks.

Mehitamata õhusõidukite objektide tuvastamise nõuded põllukultuuride seiramisel

Põllumajanduslikud mehitamata õhusõidukid täidavad mitmesuguseid visuaalse tuvastamise ülesandeid, millel kõigil on oma nõuded:

1. Saagi tervis ja stressi tuvastamine: Droonid kasutavad stressis taimede, toitainete puuduse või haigussümptomite tuvastamiseks RGB-, termo- või multispektraalseid kaameraid. Reaalajas algoritmid suudavad kaardistada põldude varieeruvust, suunates niisutamist või väetamist. Taimede stressimärkide täpne tuvastamine võimaldab õigeaegselt sekkuda saagikuse säästmiseks.

2. Umbrohu tuvastamine: Umbrohtude tuvastamine põllukultuuride seas võimaldab põllumeestel pritsida ainult soovimatuid taimi, säästes seeläbi herbitsiidikulusid. Näiteks puuvillapõldudel läbi viidud uuringus kasutati YOLOv7-põhise detektoriga mehitamata õhusõidukite pilte ja saavutati umbrohtude puuvillast eraldamisel umbes 83% täpsus. Siiski on visuaalselt sarnaste umbrohtude ja põllukultuuride eristamine tihedate põllupiltide puhul endiselt keeruline.

3. Kahjurite ja haiguste avastamine: Mehitamata õhusõidukid suudavad haiguspuhanguid (nt rohutirtsud, putukad või seenhaigused) märgata varem kui jalgsi liikuvad inimesed. Droonid toetavad ka kahjuritega nakatunud piirkondade kaardistamist multispektraalse pildistamise abil, mis täiustab ainult RGB-d. Kiire ja täpne kahjurite tuvastamine on leviku tõkestamiseks ülioluline.

4. Saagikuse hindamine: Puuviljade, teraviljapeade või taimede loendamine õhust aitab ennustada saagikoguseid. Mudelid, mis on treenitud mehitamata õhusõidukite piltidelt õunu, meloneid või nisupeasid tuvastama, võivad saagikuse hindamist kiirendada. Näiteks on droonide piltidel olevaid närvivõrke kasutatud arbuusi- ja melonisaagi loendamiseks põldudel.

5. Mõõdistamine ja kaardistamine: Droonid loovad ka põllukaarte (topograafia, mullaerinevused), mis aitavad harimist planeerida. Kuigi see ei ole otseselt objektide tuvastamine, on see osa droonide seirest.

Need ülesanded nõuavad sageli peaaegu reaalajas järelduste tegemist: põldude kohal lendav droon võib vajada videokaadrite töötlemist lennult (mitu kaadrit sekundis), et juhtimisotsuseid (näiteks kõrguse reguleerimine või pihusti aktiveerimine) saaks teha kohe. Teistel juhtudel võivad väikesed viivitused (sekundid) olla vastuvõetavad, kui andmed logitakse ja analüüsitakse pärast maandumist.

Oluline on see, et mehitamata õhusõidukite nägemine peab hakkama saama keskkonna varieeruvusega: ere päikesevalgus, varjud, tuulest tingitud liikumise hägustumine, kattuvate lehtede tekitatud varjamine või kõrguse ja nurga muutused. Objektide suurused on erinevad (lähivaates olevad umbrohud vs kauged kahjurite kobarad), seega peavad detektorid hakkama saama mitmeskaalaliste tunnustega.

Lõpuks hõlmavad põllumajanduslike mehitamata õhusõidukite missioonid rangeid kompromisse täpsuse, latentsuse ja energiatarbimise vahel. Umbrohtude või kahjurite märkamata jätmise vältimiseks on vaja suurt tuvastustäpsust, kuid väga sügava võrgu käitamine võib aku kiiresti tühjendada. Seetõttu peab tuvastusmudel olema kiire ja energiatõhus, olles samas ülesande jaoks piisavalt täpne. Need ranged nõuded toovad esile, miks põllumajanduses kasutatavate mehitamata õhusõidukite jaoks on vaja spetsiaalset mudelidisaini.

Kerged objektidetektorid mehitamata õhusõidukite platvormidele

Kerged objektidetektorid on närvivõrgud, mis on spetsiaalselt loodud töötama piiratud riistvaral. Need kasutavad sageli väikeseid selgroogvõrke (nagu MobileNet või ShuffleNet), vähendatud kihtide laiust või lihtsustatud kaela/pea disaini. Näiteks YOLO perekonna mudelid hõlmavad “nano” ja “pisikesi” versioone (nt YOLOv8n, YOLOv5s), millel on vähem parameetreid ja mis vajavad vähem operatsioone (FLOP-e).

Sellised detektorid suudavad töötada kümnete kaadrite sekundis manustatud riistvaral, näiteks NVIDIA Jetson Nano või Google Coral. Näiteks Ag-YOLO oli palmiistanduste jaoks kohandatud YOLO-põhine detektor, mis töötas Intel Neural Compute Stick 2-l kiirusega 36,5 kaadrit sekundis (tarbides ainult 1,5 W) ja saavutas suure täpsuse (F1 = 0,9205). See mudel kasutas umbes 12 korda vähem parameetreid kui YOLOv3-Tiny, kahekordistades samal ajal oma kiirust.

Need näited näitavad mudeli kujundamisel tehtavaid kompromisse: mudeli suuruse või keerukuse vähendamine (nt vähem kihte või kanaleid) kiirendab tavaliselt järelduste tegemist ja vähendab energiatarbimist, kuid võib vähendada täpsust. Ag-YOLO ohverdas kiiruse ja efektiivsuse suurendamiseks osa võimsusest, säilitades siiski oma ülesandes kõrge F1 skoori 0,92.

Samamoodi võrreldi kolme YOLOv7 varianti umbrohu tuvastamise osas: täielik YOLOv7 saavutas täpsuse 83%, samas kui väiksem YOLOv7-w6 variant saavutas täpsuse 63%-ni. See illustreerib üldiste kergete detektorite piirangut: ühe keskkonna või objektitüübi jaoks häälestatud mudelid võivad teises keskkonnas või objektitüübis kehvemini toimida. Kiiruse osas kitsendatud detektor võib mööda vaadata peentest vihjetest (nt väikesed või kamuflaažitud umbrohud), mis kahjustab vastupidavust erinevates tingimustes.

Põllumajanduses ei pruugi need üldised kerged võrgud olla optimaalsed ilma edasise kohandamiseta. Näiteks ei pruugi tavaliste andmekogumite põhjal eelnevalt treenitud YOLOv7 mudel põllukultuuride kujutiste unikaalsete tekstuuride ja skaaladega ideaalselt toime tulla. Seega on vaja mudeli arhitektuuri ülesande- ja platvormipõhist optimeerimist. Iga uue droonitüübi või põllukultuuri sordi käsitsi häälestamine (kihtide, filtrite jms muutmine) on töömahukas. See motiveerib automatiseeritud meetodeid – näiteks juurutamist arvestavaid NAS-e –, et leida antud mehitamata õhusõiduki platvormi ja põllumajandusliku rakenduse jaoks parim tasakaal suuruse, täpsuse ja töökindluse vahel.

Neuraarhitektuuri otsing mehitamata õhusõidukitel põhinevates nägemissüsteemides

Neuraalvõrgu arhitektuuri otsing (NAS) on automatiseeritud meetod närvivõrgu arhitektuuride kujundamiseks. Kihtide, filtrite ja ühenduste arvu käsitsi määramise asemel kasutab NAS algoritme (tugevdusõpe, evolutsioonimeetodid või gradiendipõhine otsing), et uurida võimalike disainide ruumi ja leida need, mis optimeerivad valitud eesmärki (näiteks täpsust).

NAS-i on juba rakendatud mobiilisõbralike võrkude loomiseks. Näiteks Google'i MnasNet oli teedrajav “platvormteadlik” NAS, mis lisas eesmärgis otse reaalse seadme latentsuse. MnasNet mõõtis otsingu ajal iga kandidaatmudeli järeldamisaega Google Pixeli telefonis ja tasakaalustas täpsuse selle mõõdetud latentsusega. Tulemuseks oli CNN-ide perekond, mis olid mobiilse riistvara puhul nii kiired kui ka täpsed, edestades käsitsi loodud MobileNetsi ja NASNeti mudeleid ImageNetis.

Siiski keskenduvad üldised NAS-lähenemisviisid, nagu MnasNet, üldistele nägemisülesannetele (ImageNeti klassifikatsioon või COCO tuvastamine) ja üldisele riistvarale (nt mobiiltelefonid). Mehitamata õhusõidukite saagi jälgimise puhul on probleem spetsialiseeritum. Me tahame detektoreid, mis on optimeeritud konkreetsete objektiklasside (taimed, umbrohud, kahjurid) jaoks ja kohandatud mehitamata õhusõiduki andurite ja lennuprofiiliga. Standardne NAS, mis optimeerib ainult täpsuse või üldise latentsuse jaoks, võib tähelepanuta jätta sellised nüansid nagu väikeste objektide tuvastamine või energiapiirangud.

Samuti võivad traditsioonilised NAS-meetodid olla arvutuslikult väga kallid (sageli nõuavad need suurtel GPU-klastritel päevi), mis pole põllumajandusteadlaste jaoks alati praktiline. Seetõttu on mehitamata õhusõidukite nägemise jaoks vaja ülesandespetsiifilisi NAS-raamistikke. Need peavad sisaldama mehitamata õhusõidukite jaoks olulisi kriteeriume ja olema võimalikult tõhusad.

Kõigil juhtudel on piirangute teadvustamine kriitilise tähtsusega: NAS peab olema teadlik sihtseadme piirangutest (sarnaselt MnasNetiga) ja lennu ajal toimuvate mehitamata õhusõidukite ülesannete reaalajas nõudmistest. Kui otsing on liiga aeglane või ignoreerib energiatarbimist, ei pruugi saadud mudel tegelikult välitingimustes hästi töötada.

Praktikas lisaks mehitamata õhusõidukite nägemise NAS riistvara latentsuse ja energia otse otsingumõõdikusse. Näiteks saaks mõõta kandidaadidetektori kaadrisagedust tegeliku drooniarvuti (näiteks NVIDIA Jetson) peal ja kasutada seda skoorina. See erineb lihtsate puhverserverite, näiteks FLOP-ide kasutamisest, mis ei jäädvusta reaalset kiirust.

Nii toimides saab NAS avastada arhitektuure, mis seadme võimalusi kõige paremini ära kasutavad. Kokkuvõttes pakub NAS võimalust mehitamata õhusõidukite detektorite automaatseks kujundamiseks, kuid seda tuleb kohandada, et arvestada mehitamata õhusõidukite eripäraste ülesannete ja efektiivsusnõuetega.

Juurutusteadlik NAS: põhiprintsiibid

Juurutusteadlik NAS laiendab riistvarateadlikku NAS-i, lisades disainiprotsessi juurutamise konteksti ja keskkonnapiirangud. Teisisõnu, see arvestab lisaks drooni riistvarale (protsessori/graafikaprotsessori kiirus, mälupiirangud, energiaeelarve) ka sellega, millega mehitamata õhusõiduk tegelikult väljas kokku puutub. See tähendab selgesõnalist optimeerimist selliste näitajate jaoks nagu sihtseadme latentsusaeg, energiatarve ja mälukasutus, püüdes samal ajal saavutada suurt tuvastustäpsust.

Näiteks NAS-i ajal saaks iga kandidaatmudeli paigutada mehitamata õhusõiduki külge kinnitatud Jetson Nanole ja salvestada selle reaalse järeldusaja ja energiatarbimise. See empiiriline tagasiside aitab suunata otsinguid mudelite poole, mis vastavad tõeliselt juurutamiskriteeriumidele.

Riistvarapõhine NAS (nagu MnasNet) keskendub seadme mõõdikutele, samas kui juurutuspõhine NAS läheb kaugemale: see võib arvestada andurite sisendomadustega (nt pildi eraldusvõime, multispektraalsed kanalid) ja rakenduse latentsusaegade sihtmärkidega (vajalik kaadrisagedus sekundis). See võib isegi lisada lennupiiranguid, näiteks maksimaalselt lubatud mälumahtu, või lisada hindamisi simuleeritud tuulevärina või liikumise hägususe korral.

Kasutustundlik NAS võib karistada arhitektuure, mis ületavad näiteks 5W energiatarvet või vajavad rohkem mälu, kui droonil endal on. Nii tehes kaldub otsing loomulikult mehitamata õhusõiduki välitöödeks mõeldud praktiliste mudelite poole. Sisuliselt seisneb kasutustundlik NAS mudeli kujundamise ja reaalse kasutamise vahelise ahela sulgemises. Selle asemel, et valida arhitektuur eraldi ja loota, et see töötab, hõlmab see otsingu käigus süstemaatiliselt reaalsete seadmete testimist.

Näiteks Kerec jt (2026) kasutasid sellist raamistikku mehitamata õhusõiduki detektori otsimiseks: nad ehitasid YOLOv8n baasjoonele, kuid kaasasid otsingusse Jetson Nano latentsuse ja energia. Saadud mudelil oli 37% vähem GFLOP-e ja 61% vähem parameetreid kui YOLOv8n-il, kusjuures mAP langus oli vaid 1,96%. See näitab selgelt, kuidas juurutamise piirangud suunasid NAS-i palju kergema ja kiirema võrgu poole.

Kasutustundliku NAS-i roll täppispõllumajanduse seirel

Lähenemisteadlik NAS saab oluliselt parandada mehitamata õhusõidukite saagi seiret, kohandades detektoreid põllumajanduslikele tingimustele. Näiteks võib otsingu puhul eelistada arhitektuure, mis sobivad suurepäraselt väikeste, õhukeste objektide (nagu kitsad umbrohud või õhukesed maisiistikud) tuvastamiseks või taimede eristamiseks mulla taustast. See saab võrgu sügavust ja vastuvõtlikke välju kohandada tüüpilise lennukõrguse järgi: madalal kõrgusel täidavad objektid pildi ja võivad vajada peeneid detaile, samas kui suuremal kõrgusel peaks võrk olema hea väikesemahulise tuvastamise jaoks. Lähenemisteadlik NAS saab need nõuded oma otsinguruumi kodeerida.

Kiirus on välitingimustes kriitilise tähtsusega. Kujutage ette, et droon tuvastab kahjurite puhangu; kui mudel on piisavalt kiire, et töödelda videot näiteks kiirusega 30 kaadrit sekundis, saab see pilooti hoiatada või käivitada viivitamatu reageerimisoperatsiooni. Testides töötas NAS-i abil disainitud mudel Jetson Nanol tänu optimeeritud arhitektuurile 28% kiiremini kui tavaline YOLOv8n. See tarbis ONNX-i tööajal ka 18,5% vähem energiat, mis tähendab, et droon saab sama akuga kauem lennata. Need eelised muudavad lennu ajal otsuste tegemise teostatavamaks ja pikendavad missiooni kestust.

Töökindlus on veel üks eelis. Kuna juurutamisega seotud NAS hõlmab seadme tegelikku hindamist, võib otsing hõlmata teste erinevates tingimustes. Näiteks võib see simuleerida hämaras valgustust või lisada treeningpilte koidikust ja videvikust, tagades, et lõplik detektor säilitab täpsuse reaalsete ilmastikutingimuste ja valgustuse muutuste korral. Töö näitas, et NAS-ist saadud detektor üldistusvõime oli hea: nad testisid seda kahe erineva põllukultuuri andmekogumiga (nisupead ja puuvillaistikud) ja leidsid mõlema puhul tugeva jõudluse.

See viitab sellele, et kasutuselevõtuga NAS aitas leida põllumajanduses ühiseid ja kasulikke funktsioone, parandades üldistatavust uutele põldudele. Üldiselt aitab kasutuselevõtuga NAS tasakaalustada täpsust pikema lennuajaga. Arvutuskoormuse vähendamise abil tarbivad droonid vähem energiat ja suudavad akulaadimisega katta suurema ala, tuvastades samal ajal usaldusväärselt põllukultuure ja kahjureid.

Põllumajanduslike mehitamata õhusõidukite detektorite otsinguruumi disain

Juurutamist arvestava NAS-i oluline osa on otsinguruum – võimalike võrgudisainide kogum, mida see arvestab. Mehitamata õhusõidukite saagidetektorite puhul saab otsinguruumi koostada nii, et see hõlmaks selle valdkonna jaoks paljulubavaid arhitektuure. Peamised osad on järgmised:

1. Selgroo disain: Selgroog on tunnuste ekstraheerija. Mehitamata õhusõidukite puhul võivad olla kaasatud kerged konvolutsioonilised ehitusplokid, näiteks sügavuti eraldatavad konvolutsioonid (nagu MobileNetis kasutatakse) või ümberpööratud jääkplokid. Pööratud jäägid ja lineaarsed pudelikaelad (MobileNetV2 stiilis) on tuntud mobiilse efektiivsuse poolest. Otsinguruum võiks võimaldada iga ploki laiuse (kanalite arvu) ja sügavuse varieerimist, et see vastaks mehitamata õhusõiduki arvutuseelarvele. Samuti võidakse lisada tähelepanu- või trafomooduleid, kui mehitamata õhusõiduk saab neid väikese energiatarbega endale lubada.

2. Kaela disain: Paljud objektidetektorid kasutavad mitmeskaalaliste tunnuste kombineerimiseks tunnuspüramiide (FPN) või teekonna agregatsioonivõrke. Otsing võiks uurida lihtsustatud FPN-e või kerget tunnuste agregatsiooni. Näiteks võiksid variandid olla üheskaalalise pea ja mitmeskaalalise pea kasutamine. See ruum võib võimaldada kihtide koondamist või ühenduste vahelejätmist, mis aitavad tuvastada erineva suurusega objekte.

3. Pea kujundus: Tuvastuspea (klassifitseerimis- ja kastiregressioonikihid) võib samuti varieeruda. Ühtlaseid välju otsivate mehitamata õhusõidukite puhul võib piisata lihtsamast peast. Kuid väikeste umbrohtude tabamiseks võib otsing hõlmata täiendavaid konvolutsioonikihte või erinevaid ankurdusskeeme.

4. Kerged toimingud: Otsinguruum lubab otseselt ainult odavaid toiminguid. Näiteks valida 3×3 konversiooni ja odavama 1×3+3×1 faktoriseeritud konversiooni vahel või lisada GhostNeti mooduleid. Samuti saab arvutusvõimsuse piiramiseks lubada väikeseid kerneli suurusi või vähendatud mõõtmeid. Kõiki neid valikuid juhib riistvara. Otsinguruum võib keelata mis tahes kihi konfiguratsiooni, mis ületab drooni mälupiiri või eeldatavat energialäve.

Selle otsinguruumi hoolika kujundamise abil suunatakse NAS-i protsessi tõhusate ja efektiivsete arhitektuuride poole. Tulemuseks võib olla uudne plokkide kombinatsioon, mida standardmudelites ei arvestata. Parima leitud detektori puhul kasutati kohandatud plokkide valikuid, mis vähendasid GFLOP-e 37% ja parameetreid 61% võrra võrreldes YOLOv8n-iga.

See oli võimalik, kuna NAS suutis mehitamata õhusõidukite (UAV) piirangute raames kombineerida ja sobitada selgroo ja pea elemente. Kokkuvõttes keskendutakse põllumajanduslike UAV-detektorite otsinguvaldkonnas skaleeritavatele, kergetele ehitusplokkidele ja mitmeskaalalisele käsitlemisele, kõik pardal oleva riistvara piirides.

Optimeerimise eesmärgid ja piirangud

Juurutamist arvestav NAS peab žongleerima mitme eesmärgiga. Peamine eesmärk on tavaliselt tuvastustäpsus (nt keskmine täpsus, mAP), mida mõõdetakse põllukultuuride seire andmekogumitel. Näiteks on levinud mõõdik mAP@50 (täpsus 50% IOU juures). NAS-i jaoks optimeeritud mudelil oli mAP@50 langus vaid 1,96% võrreldes baas-YOLOv8n-ga, mis on saavutatud edusammude kohta väga väike kaotus. Arvesse võetakse ka täpsust ja meeldejäävust (või F1-skoori) võtmeklassides (umbrohud, põllukultuurid).

Samal ajal tuleb optimeerida latentsusaega ja energiat. Latentsus on järeldusaeg pildi kohta; sisseehitatud GPU puhul võib see olla 20–50 ms või rohkem. Väiksem latentsus tähendab suuremat kaadrisagedust. Energiatarve (džaulides kaadri kohta) on lennu vastupidavuse jaoks ülioluline. Mälu jalajälg (parameetrite arv, mudeli suurus) on veel üks piirang; mudelid peavad mahtuma seadme muutmälusse. Seetõttu seab NAS nende piirangute jaoks tavaliselt eesmärgi või karistuse.

Näiteks võidakse iga mudel, mis on teatud lävest aeglasem või parameetri eelarvest suurem, madalamale reitingule viia. See muudab NAS-i sisuliselt mitme eesmärgiga optimeerimisülesandeks: maksimeerida täpsust, minimeerides samal ajal latentsust, energiatarbimist ja suurust.

Praktikas saaks seda teha eesmärkide kaalutud summa või rangete piirangute abil. Mõned meetodid annavad suure karistuse igale kandidaadile, kes ületab mehitamata õhusõiduki võimsuspiiri. Teised arvutavad energiamõõdiku otseselt välja: mudeleid testiti ONNX-i käituskeskkonnas, et mõõta "energiatõhusust" ja parim mudel oli +18,5% energiatõhusam kui YOLOv8n. See oli üks otsinguid juhtivatest eesmärkidest.

Leitud kompromisse saab visualiseerida Pareto piiril: ühes otsas äärmiselt kiired väikesed mudelid madalama täpsusega; teises otsas suured ja täpsed mudelid, mis on drooni jaoks liiga aeglased või energiatarbekad. Lähetamistekstlik NAS püüab leida sellel piiril optimaalse punkti, mis vastab tegelikele missiooniprioriteetidele (nt väike täpsuse kadu suure kiirenduse korral). Kokkuvõttes peab NAS arvestama täpsusmõõdikutega (mAP, F1) ja järelduspiirangutega (ms kaadri kohta, džaulid kaadri kohta, mälu). See tasakaalustatud optimeerimine teeb mudeli mehitamata õhusõidukite kasutamiseks tõeliselt lähetusvalmis.

Koolitus ja hindamine realistlikes põllumajanduslikes oludes

Selleks, et NAS-i abil leitud detektorid hästi töötaksid, tuleb neid treenida ja testida realistlike põllumajandusandmete peal. See tähendab selliste andmekogumite kasutamist, mis jäädvustavad reaalsete põldude varieeruvust: erinevad põllukultuuride liigid, kasvufaasid, aastaajad, valgustingimused ja kõrgused. Näiteks ainult noorte maisivõrsete piltide treenimine ei pruugi üldistada küpsete nisupeadeni. Põlde esinduslikud andmekogumid tagavad, et mudel õpib tundma talus olulisi omadusi. Treeningu ajal saab droonide liikumise ja valgustuse jäljendamiseks rakendada ka andmete täiendamist (juhuslikud põllukultuurid, heleduse muutused, liikumise hägusus).

Hindamisel on oluline testida mudelit võimalikult reaalsetes tingimustes. Simulatsioonitööriistad võivad aidata (nt virtuaalse drooni lendamine 3D-väljade kohal), kuid reaalsed lennutestid on kuldstandard. Pardal võrdlusanalüüs viiakse läbi mudeli käitamise teel tegeliku mehitamata õhusõiduki riistvaral. Pärast NAS-i paigutasid nad kandidaadi Jetson Nanole ja mõõtsid 28,1% võrra kiiremat järeldust (võrreldes baasjoone YOLOv8n-ga) ja paremat energiatarbimist. Selline reaalse seadme tagasiside kinnitab, et otsingu tulemusel loodi mudel, mis vastab tõepoolest nõuetele.

Üldistamine on samuti ülioluline. Mudelit saab otsida ja treenida ühe põllukultuuri (näiteks nisu) põhjal, kuid põllumehed vajavad detektoreid, mis töötavad erinevatel põldudel. Uuring näitas tugevat üldistamist erinevate põllukultuuride vahel: ühe ülesande jaoks treenitud NAS-ist tuletatud detektor toimis ilma ümberõpetamiseta hästi ka teise põllukultuuri andmekogumi (puuvillaistikud) puhul. See viitab sellele, et juurutamist arvestav NAS suudab luua robustseid arhitektuure. Domeenivahetused (nt maisipõldudelt viljapuuaedadesse kolimine) võivad aga vajada peenhäälestamist või edasist otsingut. Soovitatav on ka aastaaegadevaheline testimine (suve- ja sügispildid).

Lõpuks tuleks iga uut mudelit enne kasutuselevõttu mehitamata õhusõiduki (UAV) platvormil võrdlustestida. See hõlmab selle täpsuse ja kiiruse registreerimist droonidel, riistvara ülekuumenemise vältimise tagamist ja energiatarbimise kontrollimist. Alles siis saavad põllumehed seda missioonikriitilise seire jaoks usaldada. Põllumajandusliku koolituse ja range riistvara hindamise kombineerimise abil saadakse kasutuselevõtuga teadlikud NAS-id detektorid, mis pole mitte ainult teoreetiliselt tõhusad, vaid ka välitingimustes tõestatud.

Eelised käsitsi disainitud mehitamata õhusõidukite detektorite ees

Juurutusteadlikel NAS-idel on traditsiooniliste, käsitsi disainitud mehitamata õhusõidukite mudelite ees mitmeid selgeid eeliseid:

1. Paremad jõudluse kompromissid: NAS-i abil leitud mudelid pakuvad tavaliselt suuremaid täpsuse-kiiruse-energiatõhususe kombinatsioone. Näiteks parim mudel töötas Jetson Nanol 28% kiiremini ja kasutas 18,5% vähem energiat kui käsitsi valitud YOLOv8n baasmudel, kaotades samal ajal tuvastamise mAP-s vaid ~2%. Sellise tasakaalu käsitsi saavutamine oleks väga keeruline.

2. Täiustatud üldistus: NAS-i avastatud mudelid saavad uute tingimustega paremini kohaneda, kuna otsing saab hõlmata mitmekesiseid andmeid või eesmärke. Automaatselt loodud detektor üldistas hästi erinevaid põllukultuuride tüüpe (nisu ja puuvill) ja valgustingimusi. See lai robustsus on ülioluline, kui lennud satuvad ootamatutesse stseenidesse.

3. Väiksem inseneritöö: NAS automatiseerib palju katse-eksituse meetodit. Kihtide suuruste käsitsi muutmise ja paljude kandidaatide testimise asemel uurib juurutamisest teadlik NAS iteratiivselt valikuid ja leiab teile parima disaini. See säästab arendusaega ja oskusteavet, muutes detektorite värskendamise uute ülesannete või riistvara jaoks lihtsamaks.

4. Skaleeritavus: Kui NAS-raamistik on seadistatud, saab seda kasutada erinevate mehitamata õhusõidukite platvormide või missioonide jaoks. Näiteks võib sama juurutustundlik NAS otsida detektorit, mis on häälestatud erinevale kaamera eraldusvõimele või droonimudelile, lihtsalt piirangute sisendeid muutes. See on palju skaleeritavam kui võrkude nullist iga stsenaariumi jaoks ümber kujundamine.

Väljakutsed ja piirangud

Juurutusteadlik NAS on võimas, kuid mitte imerohi. Seda tuleb rakendada läbimõeldult, olles teadlik oma ressursinõuetest ja sihtkeskkonna varieeruvusest. Vaatamata oma paljulubavusele on juuruteadlikul NAS-il ka väljakutseid:

1. Kõrge otsingu hind: NAS võib nõuda märkimisväärset arvutusvõimsust. Isegi tõhusate algoritmide korral võib arhitektuuriruumi otsimine võtta palju GPU-tunde (või spetsiaalset arvutusvõimsust). Kui otsingu üldkulud hoolikalt ei hallata, võivad need mõnele meeskonnale olla liiga suured.

2. Andmete kallutatus ja valdkonna nihe: NAS on täpselt nii hea, kui head on kasutatud andmed. Kui treeningpildid ei ole põllutingimustele representatiivsed, võib leitud arhitektuur tegelikkuses kehvemini toimida. Näiteks ühe põllukultuuri või geograafilise piirkonna jaoks häälestatud mudel ei pruugi ilma edasise kohandamiseta ideaalselt teisele üle kanduda.

3. Riistvara heterogeensus: Mehitamata õhusõidukite riistvara on saadaval mitmesugusena (erinevad sisseehitatud graafikaprotsessorid, protsessorid, FPGA-d). Ühele plaadile optimeeritud mudel ei pruugi olla optimaalne teisel. Juurutusteadlikud NAS-id peavad kas iga platvormi jaoks uuesti otsinguid tegema või kasutama konservatiivseid piiranguid, mis sobivad kõigile – mis võib jõudlust piirata.

4. Praktilised piirangud: Päris põllumajanduses juurutamine hõlmab selliseid küsimusi nagu võrguvärskendused õhu kaudu, süsteemi integreerimine lennujuhtimisega ja ohutussertifitseerimine. Isegi parim NAS-mudel tuleb integreerida täielikku droonisüsteemi. Mudelivärskenduste koordineerimine, regulatiivsed kinnitused ja põllumeeste koolitamine on mittetehnilised takistused.

Tulevikusuunad

Tulevikus näeme tõenäoliselt veelgi tihedamat mudeli disaini, sensoritehnoloogia ja mehitamata õhusõidukite juhtimise integratsiooni. Kasutustundlik NAS jääb selle ühise disainiprotsessi peamiseks tööriistaks. Tulevikku vaadates kerkib esile mitu põnevat suunda:

1. Võrguühendusega ja adaptiivne NAS: Ühekordse võrguühenduseta otsingu asemel võiksid tulevased süsteemid võrku reaalajas või lendude vahel kohandada. Näiteks võiks droon alustada baasmudeliga ja kergete NAS-algoritmide abil end uute valgustus- või maastikutingimustega lennult kohandama. See “seadmesisene NAS” on väga keeruline, kuid võiks oluliselt parandada kohanemisvõimet.

2. Andurite ja mudelite ühisprojekteerimine: Tulevased täppispõllumajanduse süsteemid võiksid ühiselt optimeerida kaamera (RGB, multispektraalne, infrapuna) ja närvivõrgu valikut. Juurutusteadlik NAS võiks otsingusse lisada ka andurite parameetreid (näiteks kasutatavaid spektraalribasid), leides riistvara ja mudeli parima kombinatsiooni.

3. Multispektraalne/hüperspektraalne integratsioon: Nagu puuvillahaiguse uuring näitab, võib multispektraalsete kujutiste integreerimine parandada avastamist, eriti varajases staadiumis probleemide puhul. Tulevased NAS-id võiksid uurida mitme voo mudeleid, mis ühendavad RGB ja lähiinfrapuna kanaleid, et tuvastada peeneid taimemuutusi usaldusväärsemalt.

4. Autonoomsed otsustusprotsessid: Lõppkokkuvõttes võivad NAS-i jaoks optimeeritud detektorid pakkuda täielikku autonoomiat. Näiteks võib droon automaatselt genereerida pritsimisplaani või hoiatada farmijuhte, kui see tuvastab teatud tingimused. Kasutustundlikku NAS-i saaks laiendada otsast lõpuni torujuhtmetele (tuvastus- ja tegevusmudelid), optimeerides kogu süsteemi.

5. Eetilised ja keskkonnaalased kaalutlused: Kuna mehitamata õhusõidukid muutuvad võimekamaks, peame arvestama privaatsuse, õhuruumi ohutuse ja mõjuga põllumajandustööjõule (nagu on märkinud Agrawal ja Arafat). NAS-ile optimeeritud droonide vastutustundliku kasutamise tagamine põllumajanduses on oluline tulevikueesmärk.

Kokkuvõte

Juurutusteadlik NAS on võimas lähenemisviis kergete objektidetektorite kohandamiseks mehitamata õhusõidukite (UAV) baasil põllukultuuride seireks. Mehitamata õhusõidukite riistvara ja missioonipiirangute otsingusse lisamisega luuakse mudeleid, mis säästavad arvutusvõimsust ja energiat, ohverdamata oluliselt täpsust. Näiteks näitas hiljutine töö, et NAS-i abil disainitud detektor kasutas 37% vähem FLOP-e ja 61% vähem parameetreid kui võrdluseks kasutatud YOLOv8n, kuid selle mAP langes vaid ~2% võrra.

Tegeliku drooni riistvara puhul tähendas see 28% kiiremat järeldust ja 18% paremat energiatõhusust. Sellised eelised tähendavad pikemat lennuaega, kiiremat analüüsi ja reageerimisvõimelisemat põllumajandustuge. Võrreldes käsitsi loodud mudelitega pakub juurutamisega seotud NAS paremat jõudluse üldistamist, vähem käsitsi häälestamise pingutust ja skaleeritavust uutele mehitamata õhusõidukite platvormidele.

Täppispõllumajanduse kontekstis võivad need täiustused muuta mehitamata õhusõidukite saagi jälgimise praktilisemaks ja tõhusamaks. NAS-i jaoks optimeeritud detektoritega varustatud droonid suudavad umbrohtu, kahjureid või stressi usaldusväärsemalt tuvastada, võimaldades õigeaegseid sekkumisi, mis säästavad ressursse ja suurendavad saagikust. Kuna põllumajanduses võetakse jätkuvalt kasutusele droone ja tehisintellekti, mängib juurutustundlik NAS keskset rolli nendel droonidel töötavate mudelite tõhususe, täpsuse ja põllul töötamise valmiduse tagamisel. See ühendab tipptasemel närvivõrkude uurimistöö ja põllumeeste praktiliste vajaduste vahel, aidates kaasa andmepõhise täppispõllumajanduse tuleviku edendamisele.