Izvietošanas ziņā apzinīgu NAS loma efektīvā bezpilota lidaparātu (UAV) kultūraugu uzraudzībā

Bezpilota lidaparāti (UAV) jeb droni pārveido mūsdienu lauksaimniecību, nodrošinot ātrus lauku attēlus no gaisa. Tos izmanto, lai skenētu kultūraugus, lai noteiktu to veselību, augšanas stadiju, kaitēkļus, nezāles un novērtētu ražu. Piemēram, Ķīnā pašlaik darbojas vairāk nekā 250 000 lauksaimniecības dronu, un Taizemē līdz 2023. gadam aptuveni 301 000 t lauksaimniecības zemes tika pārklāta ar dronu miglošanu vai uzraudzību. Šie UAV padara lauksaimniecību efektīvāku, ātri atklājot problēmas (piemēram, kaitēkļu uzliesmojumus vai ūdens trūkumu), kuras uz zemes var nepamanīt.

Tomēr maziem bezpilota lidaparātiem (UAV) ir ļoti ierobežota iebūvētā skaitļošanas jauda un akumulatora darbības laiks. Tāpēc sarežģītu mākslīgā intelekta redzes algoritmu palaišana tajos reāllaikā ir izaicinājums. Tradicionālie vieglie objektu noteikšanas modeļi (piemēram, niecīgie YOLO vai MobileNet balstīti detektori) var tikai daļēji apmierināt šīs vajadzības: tie bieži vien upurē precizitāti vai ātrumu un prasa ievērojamu manuālu regulēšanu. Šī plaisa motivē izvietošanai pielāgotu neironu arhitektūras meklēšanu (NAS): automatizētu projektēšanas metodi, kas pielāgo dziļās mācīšanās modeļus precīzām lauka apstākļos izvietotu bezpilota lidaparātu prasībām.

Mūsdienu precīzā lauksaimniecība izmanto bezpilota lidaparātus (dronus), lai apsekotu laukus un uzraudzītu kultūraugu stāvokli. Lidojot virs lielām platībām, droni var uzņemt augstas izšķirtspējas augu, augsnes un lauka modeļu attēlus. Šie attēli tiek padoti datorredzes algoritmiem, kas atklāj nezāles starp kultūraugiem, novērtē ražu (piemēram, skaitot augļus vai galviņas) vai pamana agrīnas slimības vai barības vielu trūkuma pazīmes. Piemēram, droni ļauj mērķtiecīgi izsmidzināt herbicīdus uz nezāļu plankumiem, samazinot ķīmisko vielu lietošanu un izmaksas.

Tomēr dronu mazajiem borta datoriem (kuru jauda bieži vien ir ierobežota līdz dažiem vatiem) ir grūtības darbināt lielus neironu tīklus lidojuma ātrumā. Tas apgrūtina reāllaika analīzes veikšanu: ja drons pamana problēmu, tam ir ātri jāreaģē vai jāreģistrē dati, pirms izlādējas akumulators. Pašreizējie vieglie detektori (piemēram, YOLOv8 nano, YOLO-tiny, MobileNets) tiek izstrādāti ar roku, un bieži vien ir saistīti ar kompromisiem: mazāka modeļa izgatavošana to paātrina, bet var kaitēt precizitātei.

Tā rezultātā ir liela vajadzība pēc metodēm, kas automātiski atrod vislabāko iespējamo modeli, ņemot vērā bezpilota lidaparāta (UAV) ierobežojumus. Izvietošanas ziņā apzinīgs NAS atbilst šai vajadzībai, meklējot neironu tīkla arhitektūras, kas kopīgi optimizē noteikšanas precizitāti un resursu izmantošanu (latentumu, jaudu, atmiņu) reālos bezpilota lidaparātu apstākļos. Šī pieeja var nodrošināt specializētus modeļus, kas efektīvi darbojas dronu aparatūrā, vienlaikus saglabājot augstu precizitāti kultūraugu uzraudzības uzdevumiem.

Bezpilota lidaparātu objektu noteikšanas prasības kultūraugu uzraudzībā

Lauksaimniecības bezpilota lidaparāti veic virkni vizuālās noteikšanas uzdevumu, katram no tiem ir savas prasības:

1. Kultūraugu veselības un stresa noteikšana: Droni izmanto RGB, termiskās vai multispektrālās kameras, lai identificētu stresa skartus augus, barības vielu trūkumu vai slimību simptomus. Reāllaika algoritmi var kartēt lauka mainīgumu, vadot apūdeņošanu vai mēslošanu. Precīza augu stresa pazīmju noteikšana ļauj savlaicīgi iejaukties, lai saglabātu ražu.

2. Nezāļu identificēšana: Nezāļu noteikšana starp kultūraugiem ļauj lauksaimniekiem apsmidzināt tikai nevēlamus augus, tādējādi ietaupot herbicīdus. Piemēram, pētījumā par kokvilnas laukiem tika izmantoti bezpilota lidaparātu attēli ar YOLOv7 bāzes detektoru, un tika sasniegta aptuveni 83% precizitāte nezāļu atdalīšanā no kokvilnas. Tomēr vizuāli līdzīgu nezāļu un kultūraugu atšķiršana pārblīvētos lauka attēlos joprojām ir sarežģīta.

3. Kaitēkļu un slimību atklāšana: Bezpilota lidaparāti (UAV) var pamanīt uzliesmojumus (piemēram, siseņus, kukaiņus vai sēnīšu iedegu) agrāk nekā cilvēki, kas pārvietojas kājām. Droni atbalsta arī kaitēkļu invadēto zonu kartēšanu, izmantojot multispektrālo attēlveidošanu, kas uzlabo tikai RGB. Ātra un precīza kaitēkļu noteikšana ir ļoti svarīga, lai novērstu izplatīšanos.

4. Ienesīguma novērtējums: Augļu, graudu galviņu vai augu skaitīšana no gaisa palīdz prognozēt ražas apjomus. Modeļi, kas apmācīti noteikt ābolus, melones vai kviešu galviņas bezpilota lidaparātu attēlos, var paātrināt ražas novērtēšanu. Piemēram, neironu tīkli dronu attēlos ir izmantoti, lai laukos saskaitītu arbūzu un meloņu ražu.

5. Mērniecība un kartēšana: Droni arī veido lauka kartes (topogrāfiju, augsnes atšķirības), kas palīdz plānot kultivēšanu. Lai gan tā nav tikai objektu noteikšana, tā ir daļa no bezpilota lidaparātu (UAV) uzraudzības.

Šie uzdevumi bieži vien prasa gandrīz reāllaika secinājumus: dronam, kas lido virs laukiem, var būt nepieciešams apstrādāt video kadrus reāllaikā (vairākus kadrus sekundē), lai vadības lēmumus (piemēram, augstuma pielāgošanu vai smidzinātāja aktivizēšanu) varētu pieņemt nekavējoties. Citos gadījumos nelielas kavēšanās (sekundes) varētu būt pieņemamas, ja dati tiek reģistrēti un analizēti pēc nosēšanās.

Svarīgi ir tas, ka bezpilota lidaparātu (UAV) redzei jātiek galā ar vides mainīgumu: spilgtu saules gaismu, ēnām, vēja izraisītu kustību izplūšanu, pārklājošu lapu aizsegumu vai augstuma un leņķa izmaiņām. Objektu izmēri atšķiras (tuvplāna nezāles pretstatā attālām kaitēkļu grupām), tāpēc detektoriem jāspēj tikt galā ar daudzmēroga elementiem.

Visbeidzot, lauksaimniecības bezpilota lidaparātu (UAV) misijas ietver stingrus kompromisus starp precizitāti, latentumu un enerģiju. Lai nepamanītu nezāles vai kaitēkļus, ir nepieciešama augsta noteikšanas precizitāte, taču ļoti dziļa tīkla darbība var ātri iztukšot akumulatoru. Tāpēc noteikšanas modelim ir jābūt ātram un energoefektīvam, vienlaikus pietiekami precīzam uzdevuma veikšanai. Šīs stingrās prasības izceļ, kāpēc lauksaimniecībā izmantojamiem bezpilota lidaparātiem ir nepieciešams specializēts modeļu dizains.

Vieglie objektu detektori bezpilota lidaparātu platformām

Vieglie objektu detektori ir neironu tīkli, kas īpaši izstrādāti darbībai ar ierobežotu aparatūru. Tie bieži izmanto mazus mugurkaulus (piemēram, MobileNet vai ShuffleNet), samazinātu slāņu platumu vai vienkāršotu kakla/galvas dizainu. Piemēram, YOLO saimes modeļos ietilpst “nano” un “tiny” versijas (piemēram, YOLOv8n, YOLOv5s), kurām ir mazāk parametru un nepieciešamas mazāk darbību (FLOP).

Šādi detektori var darboties ar desmitiem kadru sekundē iegultās aparatūras, piemēram, NVIDIA Jetson Nano vai Google Coral, ierīcēs. Piemēram, Ag-YOLO bija pielāgots YOLO bāzes detektors palmu plantācijām, kas darbojās ar ātrumu 36,5 kadri sekundē uz Intel Neural Compute Stick 2 (izmantojot tikai 1,5 W) un sasniedza augstu precizitāti (F1 = 0,9205). Šis modelis izmantoja aptuveni 12 reizes mazāk parametru nekā YOLOv3-Tiny, vienlaikus divkāršojot tā ātrumu.

Šie piemēri parāda kompromisus modeļa dizainā: modeļa izmēra vai sarežģītības samazināšana (piemēram, mazāk slāņu vai kanālu) parasti paātrina secinājumu izdarīšanu un samazina enerģijas patēriņu, bet var samazināt precizitāti. Ag-YOLO upurēja zināmu jaudu, lai palielinātu ātrumu un efektivitāti, tomēr savā uzdevumā joprojām saglabāja augstu F1 rezultātu - 0,92.

Līdzīgi tika salīdzināti trīs YOLOv7 varianti nezāļu noteikšanai: pilnais YOLOv7 sasniedza 83% precizitāti, savukārt mazāks YOLOv7-w6 tīkls sasniedza 63% precizitāti. Tas ilustrē vispārīgu vieglmetāla detektoru ierobežojumu: modeļi, kas noregulēti vienai videi vai objekta tipam, var darboties sliktāk citā. Detektors, kas ir sašaurināts ātruma dēļ, var palaist garām smalkas norādes (piemēram, mazas vai maskētas nezāles), tādējādi ietekmējot noturību dažādos apstākļos.

Lauksaimniecībā šie vispārīgie vieglie tīkli var nebūt optimāli bez papildu pielāgošanas. Piemēram, YOLOv7 modelis, kas iepriekš apmācīts ar bieži izmantotiem datu kopumiem, var nepilnīgi apstrādāt kultūraugu attēlu unikālās tekstūras un mērogus. Tādēļ ir nepieciešama modeļa arhitektūras optimizācija atbilstoši uzdevumiem un platformai. Manuāla regulēšana (slāņu, filtru utt. maiņa) katram jaunam drona tipam vai kultūraugu šķirnei ir darbietilpīga. Tas motivē automatizētas metodes, piemēram, izvietošanai pielāgotus NAS, lai atrastu labāko izmēra, precizitātes un robustuma līdzsvaru konkrētai bezpilota lidaparātu platformai un lauksaimniecības pielietojumam.

Neironu arhitektūras meklēšana bezpilota lidaparātu (UAV) balstītās redzes sistēmās

Neironu arhitektūras meklēšana (NAS) ir automatizēta metode neironu tīklu arhitektūru projektēšanai. Tā vietā, lai manuāli iestatītu slāņu, filtru un savienojumu skaitu, NAS izmanto algoritmus (pastiprināšanas mācīšanos, evolūcijas metodes vai gradientu meklēšanu), lai izpētītu iespējamo dizainu telpu un atrastu tādus, kas optimizē izvēlēto mērķi (piemēram, precizitāti).

NAS jau ir ticis izmantots mobilajām ierīcēm draudzīgu tīklu izveidei. Piemēram, Google MnasNet bija novatorisks “platformu apzinošs” NAS, kas mērķī tieši iekļāva reālu ierīces latentumu. MnasNet meklēšanas laikā katram kandidāta modelim izmērīja secinājumu laiku Google Pixel tālrunī un salīdzināja precizitāti ar šo izmērīto latentumu. Rezultāts bija CNN saime, kas bija gan ātra, gan precīza mobilajā aparatūrā, pārspējot manuāli izstrādātus MobileNets un NASNet modeļus ImageNet platformā.

Tomēr vispārīgas NAS pieejas, piemēram, MnasNet, koncentrējas uz vispārīgiem redzes uzdevumiem (ImageNet klasifikācija vai COCO noteikšana) un vispārīgu aparatūru (piemēram, mobilajiem tālruņiem). Bezpilota lidaparātu (UAV) kultūraugu uzraudzībai problēma ir specializētāka. Mēs vēlamies detektorus, kas ir optimizēti konkrētām objektu klasēm (augiem, nezālēm, kaitēkļiem) un pielāgoti bezpilota lidaparāta sensoriem un lidojuma profilam. Standarta NAS, kas optimizē tikai precizitāti vai vispārīgu latentumu, var nepamanīt tādas nianses kā mazu objektu noteikšana vai enerģijas ierobežojumi.

Turklāt tradicionālās NAS metodes var būt ļoti dārgas skaitļošanas ziņā (bieži vien prasa vairākas dienas lielos GPU klasteros), kas lauksaimniecības pētniekiem ne vienmēr ir praktiski. Tāpēc bezpilota lidaparātu (UAV) redzei ir nepieciešami uzdevumam specifiski NAS ietvari. Tiem jāietver ar UAV saistīti kritēriji un jābūt pēc iespējas efektīvākiem.

Visos gadījumos ierobežojumu apzināšanās ir kritiski svarīga: NAS ir jāapzinās mērķa ierīces ierobežojumi (līdzīgi kā MnasNet) un bezpilota lidaparātu uzdevumu reāllaika prasības lidojuma laikā. Ja meklēšana ir pārāk lēna vai ignorē enerģijas patēriņu, iegūtais modelis var nedarboties labi lauka apstākļos.

Praksē NAS bezpilota lidaparātu (UAV) redzei meklēšanas metrikā iekļautu aparatūras latentumu un enerģiju. Piemēram, varētu izmērīt kandidāta detektora kadru ātrumu faktiskajā drona datorā (piemēram, NVIDIA Jetson) un izmantot to kā rādītāju. Tas atšķiras no vienkāršu starpniekservera, piemēram, FLOP, izmantošanas, kas neuztver reālo ātrumu.

Tādējādi NAS var atklāt arhitektūras, kas vislabāk izmanto ierīces iespējas. Rezumējot, NAS piedāvā veidu, kā automātiski izstrādāt detektorus bezpilota lidaparātiem (UAV), taču tas ir jāpielāgo, lai ņemtu vērā bezpilota lidaparātiem raksturīgos uzdevumus un efektivitātes prasības.

Izvietošanai pielāgota NAS: pamatprincipi

Izvietošanai pielāgots NAS paplašina aparatūrai pielāgotu NAS, iekļaujot izvietošanas kontekstu un vides ierobežojumus projektēšanas procesā. Citiem vārdiem sakot, tas ņem vērā ne tikai drona aparatūru (procesora/grafiskā procesora ātrumu, atmiņas ierobežojumus, enerģijas budžetu), bet arī to, ar ko bezpilota lidaparāts faktiski saskarsies laukā. Tas nozīmē skaidru optimizāciju tādiem rādītājiem kā secinājumu latentums mērķa ierīcē, enerģijas patēriņš un atmiņas izmantošana, vienlaikus cenšoties sasniegt augstu noteikšanas precizitāti.

Piemēram, NAS laikā katru kandidāta modeli varētu izvietot uz bezpilota lidaparātam pievienotas Jetson Nano ierīces un reģistrēt tā reālo secinājumu laiku un enerģijas patēriņu. Šī empīriskā atgriezeniskā saite palīdz meklēt modeļus, kas patiešām atbilst izvietošanas kritērijiem.

Aparatūras līmenī strādājošas NAS (piemēram, MnasNet) koncentrējas uz ierīces metriku, savukārt izvietošanas līmenī strādājošas NAS iet tālāk: tās var ņemt vērā sensoru ievades raksturlielumus (piemēram, attēla izšķirtspēju, multispektrālos kanālus) un lietojumprogrammu latentuma mērķus (nepieciešamie kadri sekundē). Tās var pat iekļaut lidojuma ierobežojumus, piemēram, maksimāli pieļaujamo atmiņu, vai novērtējumus simulētas vēja vibrācijas vai kustības izplūšanas apstākļos.

Izvietošanai paredzēts NAS varētu sodīt arhitektūras, kas pārsniedz, piemēram, 5 W jaudas patēriņu vai kurām nepieciešams vairāk atmiņas nekā dronam. Tādējādi meklēšana dabiski tiek novirzīta uz praktiskiem modeļiem bezpilota lidaparāta (UAV) darbības laukā. Būtībā izvietošanai paredzēts NAS ir par modeļa dizaina un reālās lietošanas saiknes noslēgšanu. Tā vietā, lai izvēlētos arhitektūru atsevišķi un cerētu, ka tā darbosies, meklēšanas laikā tas sistemātiski ietver testēšanu reālās ierīcēs.

Piemēram, Kerec et al. (2026) izmantoja šādu sistēmu, lai meklētu bezpilota lidaparātu detektoru: viņi balstījās uz YOLOv8n bāzes līniju, bet meklēšanā iekļāva Jetson Nano latentumu un enerģiju. Iegūtajam modelim bija par 37% mazāk GFLOP un par 61% mazāk parametru nekā YOLOv8n, un mAP kritums bija tikai 1,96%. Tas skaidri parāda, kā izvietošanas ierobežojumi virzīja NAS uz daudz vieglāku un ātrāku tīklu.

Izvietošanas ziņā apzinīgu NAS loma precīzās lauksaimniecības uzraudzībā

Izvietošanai pielāgota NAS sistēma var ievērojami uzlabot bezpilota lidaparātu (UAV) kultūraugu uzraudzību, pielāgojot detektorus lauksaimniecības apstākļiem. Piemēram, meklēšana var dot priekšroku arhitektūrām, kas izceļas ar spēju noteikt mazus, plānus objektus (piemēram, šauras nezāles vai tievus kukurūzas stādus) vai atšķirt augus no augsnes fona. Tā var pielāgot tīkla dziļumu un uztveres laukus tipiskajam lidojuma augstumam: zemā augstumā objekti aizpilda attēlu un var būt nepieciešamas sīkas detaļas, savukārt lielākā augstumā tīklam vajadzētu būt labam maza mēroga noteikšanā. Izvietošanai pielāgota NAS sistēma var iekodēt šīs prasības savā meklēšanas telpā.

Ātrums ir kritiski svarīgs lauka apstākļos. Iedomājieties, ka drons atklāj kaitēkļu uzliesmojumu; ja modelis ir pietiekami ātrs, lai apstrādātu video, piemēram, ar 30 kadriem sekundē, tas var brīdināt pilotu vai ierosināt tūlītēju ārstēšanas darbību. Testos NAS izstrādāts modelis darbojās par 28% ātrāk uz Jetson Nano nekā standarta YOLOv8n, pateicoties tā optimizētajai arhitektūrai. Tas arī patērēja par 18,5% mazāk enerģijas ONNX darbības laikā, kas nozīmē, ka drons var lidot ilgāk ar to pašu akumulatoru. Šie ieguvumi padara lēmumu pieņemšanu lidojuma laikā vieglāku un pagarina misijas ilgumu.

Vēl viena priekšrocība ir robustums. Tā kā izvietošanai pielāgots NAS ietver faktisku ierīces novērtēšanu, meklēšana var ietvert testus dažādos apstākļos. Piemēram, tā var simulēt vāju apgaismojumu vai iekļaut apmācības attēlus no rītausmas un krēslas, nodrošinot, ka galīgais detektors saglabā precizitāti reālos laika apstākļos un apgaismojuma izmaiņās. Darbs parādīja, ka no NAS iegūtais detektors ir labi vispārināms: viņi to pārbaudīja ar diviem dažādiem kultūraugu datu kopumiem (kviešu galviņām un kokvilnas stādiem) un abos konstatēja labu veiktspēju.

Tas liek domāt, ka izvietošanas ziņā apzinātas NAS sistēmas palīdzēja atrast kopīgas, lauksaimniecībai noderīgas funkcijas, uzlabojot vispārināšanu uz jauniem laukiem. Kopumā izvietošanas ziņā apzinātas NAS sistēmas palīdz līdzsvarot precizitāti ar ilgāku lidojuma laiku. Samazinot skaitļošanas apjomu, droni patērē mazāk enerģijas un var aptvert lielāku platību ar vienu akumulatora uzlādi, vienlaikus joprojām droši nosakot kultūraugus un kaitēkļus.

Lauksaimniecības bezpilota lidaparātu detektoru meklēšanas telpas dizains

Svarīga izvietošanai pielāgota NAS sastāvdaļa ir meklēšanas telpa — iespējamo tīkla dizainu kopums, ko tā apsver. Bezpilota lidaparātu (UAV) kultūraugu detektoru meklēšanas telpu var izveidot, iekļaujot šajā jomā daudzsološas arhitektūras. Galvenās daļas ietver:

1. Mugurkaula dizains: Mugurkauls ir iezīmju ieguvējs. Bezpilota lidaparātiem (UAV) varētu iekļaut vieglus konvolucionārus pamatblokus, piemēram, dziļumā atdalāmus konvolūcijas blokus (kā to izmanto MobileNet) vai apgrieztus atlikumu blokus. Apgrieztie atlikumi un lineārie sašaurinājumi (MobileNetV2 stilā) ir labi pazīstami ar savu mobilo efektivitāti. Meklēšanas telpa varētu ļaut mainīt katra bloka platumu (kanālu skaitu) un dziļumu, lai tas atbilstu UAV skaitļošanas budžetam. Varētu iekļaut arī uzmanības vai transformatora iedvesmotus moduļus, ja UAV tos var atļauties ar mazu enerģijas patēriņu.

2. Kakla dizains: Daudzi objektu detektori izmanto iezīmju piramīdas (FPN) vai ceļu apkopošanas tīklus, lai apvienotu daudzmēroga iezīmes. Meklēšanā varētu izpētīt vienkāršotus FPN vai vieglu iezīmju apkopošanu. Piemēram, varētu būt iespējams izmantot viena mēroga galvu salīdzinājumā ar daudzmēroga galvām. Telpa varētu ļaut apvienot slāņus vai izlaist savienojumus, kas palīdz noteikt dažāda izmēra objektus.

3. Galvas dizains: Arī noteikšanas galviņu (klasifikācijas un kastes regresijas slāņus) var mainīt. Bezpilota lidaparātiem, kas meklē vienādus laukus, varētu pietikt ar vienkāršāku galviņu. Taču, lai noķertu mazus nezāles, meklēšanā var iekļaut papildu konvolucionālos slāņus vai dažādas enkuru shēmas.

4. Vieglas darbības: Meklēšanas telpa var nepārprotami atļaut tikai zemas izmaksas. Piemēram, izvēlēties starp 3×3 konversiju un lētāku 1×3+3×1 faktorizētu konversiju vai iekļaut GhostNet moduļus. Tā var arī atļaut mazus kodola izmērus vai samazinātas dimensijas, lai ierobežotu aprēķinus. Visas šīs izvēles nosaka aparatūra. Telpa var aizliegt jebkuru slāņu konfigurāciju, kas pārsniedz drona atmiņas ierobežojumu vai paredzamo enerģijas slieksni.

Rūpīgi izstrādājot šo meklēšanas telpu, NAS process tiek virzīts uz efektīvām, bet lietderīgām arhitektūrām. Rezultāts varētu būt jauna bloku kombinācija, kas nav ņemta vērā standarta modeļos. Vislabāk atrastais detektors izmantoja pielāgotas bloku izvēles, kas samazināja GFLOP par 37% un parametrus par 61%, salīdzinot ar YOLOv8n.

Tas bija iespējams, jo NAS varēja kombinēt mugurkaula un galvas elementus, ievērojot bezpilota lidaparātu (UAV) ierobežojumus. Rezumējot, lauksaimniecības bezpilota lidaparātu (UAV) detektoru meklēšanas telpa koncentrējas uz mērogojamiem, viegliem pamatelementiem un daudzpakāpju apstrādi, kas viss ir borta aparatūras iespēju robežās.

Optimizācijas mērķi un ierobežojumi

Izvietošanas ziņā apzinīgām NAS sistēmām ir jāspēj apvienot vairākus mērķus. Galvenais mērķis parasti ir noteikšanas precizitāte (piemēram, vidējā precizitāte, mAP), kas mērīta kultūraugu uzraudzības datu kopās. Piemēram, mAP@50 (precizitāte pie 50% IOU) ir izplatīts rādītājs. NAS optimizētajam modelim mAP@50 kritums bija tikai 1,96% salīdzinājumā ar bāzes YOLOv8n, kas ir ļoti mazs zaudējums, ņemot vērā sasniegto pieaugumu. Tiek ņemta vērā arī precizitāte un atcerēšanās (vai F1 rādītājs) galvenajās klasēs (nezāles, kultūraugi).

Vienlaikus ir jāoptimizē latentums un enerģija. Latentums ir secinājuma laiks katram attēlam; iegultam GPU tas var būt 20–50 ms vai vairāk. Zemāks latentums nozīmē lielāku kadru ātrumu. Enerģijas patēriņš (džouli uz kadru) ir ļoti svarīgs lidojuma izturībai. Atmiņas nospiedums (parametru skaits, modeļa lielums) ir vēl viens ierobežojums; modeļiem ir jāiekļaujas ierīces RAM. Tāpēc NAS parasti nosaka mērķi vai sodu šiem ierobežojumiem.

Piemēram, jebkurš modelis, kas ir lēnāks par noteiktu slieksni vai pārsniedz parametra budžetu, var tikt pazemināts. Tas faktiski pārvērš NAS par daudzmērķu optimizācijas problēmu: maksimizēt precizitāti, vienlaikus samazinot latentumu, enerģiju un izmēru.

Praktiski to varētu izdarīt, izmantojot mērķu svērto summu vai stingrus ierobežojumus. Dažas metodes piešķir lielu sodu jebkuram kandidātam, kas pārsniedz bezpilota lidaparāta jaudas ierobežojumu. Citas tieši aprēķina enerģijas metriku: modeļi tika testēti ONNX izpildlaikā, lai izmērītu “energoefektivitāti”, un labākais modelis bija par +18,5% energoefektīvāks nekā YOLOv8n. Šis bija viens no mērķiem, kas vadīja viņu meklējumus.

Atrastos kompromisus var vizualizēt uz Pareto robežas: vienā galā - ārkārtīgi ātri mazi modeļi ar zemāku precizitāti; otrā galā - lieli, precīzi modeļi, kas ir pārāk lēni vai daudz enerģijas patērējoši dronam. Izvietošanai apzinīgs NAS mērķis ir atrast optimālo punktu uz šīs robežas, kas atbilst reālajām misijas prioritātēm (piemēram, neliels precizitātes zudums lielam paātrinājumam). Rezumējot, NAS jāņem vērā precizitātes rādītāji (mAP, F1) un secinājumu ierobežojumi (ms uz kadru, džouli uz kadru, atmiņa). Šī līdzsvarotā optimizācija ir tas, kas padara modeli patiesi gatavu izvietošanai bezpilota lidaparātu lietošanai.

Apmācība un novērtēšana reālistiskos lauksaimniecības apstākļos

Lai NAS atrastie detektori darbotos labi, tie ir jāapmāca un jāpārbauda ar reālistiskiem lauksaimniecības datiem. Tas nozīmē izmantot datu kopas, kas atspoguļo reālu lauku mainīgumu: dažādas kultūraugu sugas, augšanas stadijas, gadalaikus, apgaismojuma apstākļus un augstumus. Piemēram, apmācība, izmantojot tikai jaunu kukurūzas dzinumu attēlus, var netikt vispārināta uz nobriedušām kviešu galviņām. Laukam reprezentatīvas datu kopas nodrošina, ka modelis apgūst saimniecībai svarīgas pazīmes. Apmācības laikā var izmantot arī datu palielināšanu (nejaušas kultūras, spilgtuma izmaiņas, kustības izplūšana), lai atdarinātu dronu kustību un apgaismojumu.

Veicot novērtēšanu, ir svarīgi pārbaudīt modeli pēc iespējas reālākos apstākļos. Simulācijas rīki var palīdzēt (piemēram, virtuāla drona lidošana virs 3D laukiem), taču reāli lidojumu testi ir zelta standarts. Salīdzinošā novērtēšana uz borta tiek veikta, darbinot modeli uz faktiskās bezpilota lidaparāta aparatūras. Pēc NAS viņi izvietoja kandidātu uz Jetson Nano un izmērīja par 28,1% ātrāku secinājumu veikšanu (salīdzinājumā ar bāzes YOLOv8n) un labāku enerģijas patēriņu. Šāda veida reālās ierīces atgriezeniskā saite apstiprina, ka meklēšanas rezultātā tika iegūts modelis, kas patiešām atbilst prasībām.

Arī vispārināšana ir ļoti svarīga. Modeli var meklēt un apmācīt vienai kultūrai (piemēram, kviešiem), bet lauksaimniekiem ir nepieciešami detektori, kas darbojas dažādos laukos. Pētījums demonstrēja spēcīgu vispārināšanu starp kultūrām: no NAS iegūtais detektors, kas apmācīts vienam uzdevumam, joprojām labi darbojās ar citu kultūru datu kopu (kokvilnas stādiem) bez atkārtotas apmācības. Tas liecina, ka izvietošanai pielāgotas NAS var radīt stabilas arhitektūras. Tomēr domēnu maiņas (piemēram, pāreja no kukurūzas laukiem uz augļu dārziem) joprojām var prasīt precīzu noregulēšanu vai turpmāku meklēšanu. Ieteicama arī testēšana dažādos gadalaikos (vasaras un rudens attēli).

Visbeidzot, katrs jauns modelis pirms ieviešanas ir jāpārbauda bezpilota lidaparātu (UAV) platformā. Tas ietver tā precizitātes un ātruma reģistrēšanu dronos, aparatūras nepārkaršanas nodrošināšanu un jaudas patēriņa pārbaudi. Tikai tad lauksaimnieki var tam uzticēties kritiski svarīgas uzraudzības veikšanai. Apvienojot lauka apstākļiem atbilstošu apmācību un stingru aparatūras novērtējumu, ieviešanai pielāgotas NAS sistēmas (NAS) nodrošina detektorus, kas ir ne tikai teorētiski efektīvi, bet arī pārbaudīti praksē.

Priekšrocības salīdzinājumā ar manuāli konstruētiem bezpilota lidaparātu detektoriem

Izvietošanai pielāgotam NAS ir vairākas nepārprotamas priekšrocības salīdzinājumā ar tradicionālajiem, manuāli izstrādātajiem bezpilota lidaparātu modeļiem:

1. Labāki kompromisi veiktspējas ziņā: Ar NAS atrastajiem modeļiem ir tendence nodrošināt augstākas precizitātes, ātruma un energoefektivitātes kombinācijas. Piemēram, labākais modelis darbojās par 28% ātrāk un patērēja par 18,5% mazāk enerģijas uz Jetson Nano nekā manuāli izvēlētais YOLOv8n bāzes modelis, vienlaikus zaudējot tikai ~2% noteikšanas mAP. Šādu līdzsvaru manuāli panākt būtu ļoti grūti.

2. Uzlabota vispārināšana: NAS atklātie modeļi var būt labāk pielāgojami jauniem apstākļiem, jo meklēšanā var iekļaut dažādus datus vai mērķus. Automātiski izstrādātais detektors labi vispārināja rezultātus dažādiem kultūraugu veidiem (kviešiem un kokvilnai) un apgaismojuma apstākļiem. Šī plašā robustums ir ļoti svarīgs, kad lidojumi saskaras ar negaidītām ainām.

3. Samazinātas inženiertehniskās pūles: NAS automatizē daudzas izmēģinājumu un kļūdu metodes. Tā vietā, lai manuāli pielāgotu slāņu izmērus un pārbaudītu daudzus kandidātus, izvietošanai pielāgots NAS iteratīvi izpēta iespējas un atrod jums labāko dizainu. Tas ietaupa izstrādes laiku un zināšanas, atvieglojot detektoru atjaunināšanu jauniem uzdevumiem vai aparatūrai.

4. Mērogojamība: Kad NAS ietvars ir iestatīts, to var izmantot dažādām bezpilota lidaparātu (UAV) platformām vai misijām. Piemēram, viens un tas pats izvietošanai pielāgotais NAS varētu meklēt detektoru, kas noregulēts uz citu kameras izšķirtspēju vai drona modeli, vienkārši mainot ierobežojumu ievades vērtības. Tas ir daudz mērogojamāk nekā tīklu pārveidošana no nulles katram scenārijam.

Izaicinājumi un ierobežojumi

Izvietošanai pielāgots NAS ir spēcīgs, taču tas nav brīnumlīdzeklis. Tas ir jāizmanto pārdomāti, apzinoties tā resursu prasības un mērķa vides mainīgumu. Neskatoties uz savu daudzsološo potenciālu, izvietošanai pielāgotam NAS ir arī izaicinājumi:

1. Augstas meklēšanas izmaksas: NAS var būt nepieciešama ievērojama skaitļošanas jauda. Pat ar efektīviem algoritmiem arhitektūras telpas meklēšana var aizņemt daudzas GPU stundas (vai specializētus skaitļošanas resursus). Ja meklēšanas pieskaitāmās izmaksas netiek rūpīgi pārvaldītas, dažām komandām tās var būt pārāk lielas.

2. Datu neobjektivitāte un domēna nobīde: NAS ir tikpat labs, cik labi ir izmantotie dati. Ja apmācības attēli neatspoguļo lauka apstākļus, atrastā arhitektūra realitātē var nedarboties labi. Piemēram, modelis, kas pielāgots vienam kultūraugu veidam vai vienam ģeogrāfiskajam reģionam, var nepilnīgi pāriet uz citu bez turpmākas pielāgošanas.

3. Aparatūras neviendabīgums: Bezpilota lidaparātu aparatūra ir pieejama dažādās versijās (dažādi iegultie grafiskie procesori, centrālie procesori, FPGA). Modelis, kas optimizēts vienai platei, var nebūt optimāls citai. Izvietošanas ziņā orientētiem NAS ir vai nu atkārtoti jāveic meklēšana katrai platformai, vai jāizmanto konservatīvi ierobežojumi, kas atbilst visām, kas var ierobežot veiktspēju.

4. Praktiski ierobežojumi: Reāla lauksaimniecības ieviešana ietver tādus jautājumus kā tīkla atjauninājumi pa ēteru, sistēmas integrācija ar lidojumu vadību un drošības sertifikācija. Pat labākais NAS modelis ir jāintegrē pilnvērtīgā dronu sistēmā. Modeļa atjauninājumu koordinēšana, normatīvo aktu apstiprinājumi un lauksaimnieku apmācība ir netehniski šķēršļi.

Nākotnes virzieni

Nākotnē, visticamāk, modeļa dizaina, sensoru tehnoloģijas un bezpilota lidaparātu vadības integrācija būs vēl ciešāka. Izvietošanai pielāgotas NAS joprojām būs galvenais instruments šajā kopdizaina procesā. Raugoties nākotnē, rodas vairākas aizraujošas iespējas:

1. Tiešsaistes un adaptīvās NAS: Tā vietā, lai veiktu vienreizēju bezsaistes meklēšanu, nākotnes sistēmas varētu pielāgot tīklu reāllaikā vai starp lidojumiem. Piemēram, drons varētu sākt darbu ar bāzes modeli un, izmantojot vieglus NAS algoritmus, pielāgoties, lai acumirklī tiktu galā ar jauniem apgaismojuma vai reljefa apstākļiem. Šī “ierīcē iebūvētā NAS” ir ļoti sarežģīta, taču tā varētu ievērojami uzlabot pielāgošanās spējas.

2. Sensoru un modeļu kopīga izstrāde: Nākotnes precīzās lauksaimniecības sistēmas varētu kopīgi optimizēt kameras (RGB, multispektrālā, infrasarkanā) un neironu tīkla izvēli. Izvietošanas ziņā apzinīgs NAS varētu paplašināties, iekļaujot sensoru parametrus (piemēram, izmantotās spektra joslas) savā meklēšanā, atrodot labāko aparatūras un modeļa kombināciju.

3. Multispektrālā/hiperspektrālā integrācija: Kā liecina kokvilnas slimības pētījums, multispektrālu attēlu integrēšana var uzlabot atklāšanu, īpaši agrīnās stadijas problēmu gadījumā. Nākotnes NAS varētu izpētīt daudzstraumju modeļus, kas apvieno RGB un tuvā infrasarkanā starojuma kanālus, lai uzticamāk noteiktu smalkas augu izmaiņas.

4. Autonomās lēmumu pieņemšanas procesi: Galu galā NAS optimizēti detektori varētu nodrošināt pilnīgu autonomiju. Piemēram, drons varētu automātiski ģenerēt smidzināšanas plānu vai brīdināt saimniecības vadītājus, ja tas konstatē noteiktus apstākļus. Izvietošanas ziņā apzinīgus NAS varētu paplašināt līdz pilniem cauruļvadiem (noteikšanas + darbības modeļi), optimizējot visu sistēmu.

5. Ētiskie un vides apsvērumi: Bezpilota lidaparātiem (UAV) kļūstot arvien spējīgākiem, mums jāņem vērā privātums, gaisa telpas drošība un ietekme uz lauksaimniecības darbaspēku (kā norādījuši Agravals un Arafats). Svarīgs nākotnes mērķis ir nodrošināt, lai NAS optimizēti droni lauksaimniecībā tiktu izmantoti atbildīgi.

Secinājums

Izvietošanas ziņā apzinīga NAS ir jaudīga pieeja, lai pielāgotu vieglus objektu detektorus bezpilota lidaparātu (UAV) kultūraugu uzraudzībai. Iekļaujot meklēšanā bezpilota lidaparātu (UAV) aparatūru un misijas ierobežojumus, tā ģenerē modeļus, kas ietaupa aprēķinus un enerģiju, neupurējot lielu precizitāti. Piemēram, nesen veikts darbs parādīja, ka NAS izstrādāts detektors izmanto par 37% mazāk FLOP un 61% mazāk parametru nekā atsauces YOLOv8n, tomēr tā mAP samazinājās tikai par ~2%.

Faktiskajā dronu aparatūrā tas nozīmēja ātrāku 28% secinājumu veikšanu un labāku 18% energoefektivitāti. Šādi ieguvumi nozīmē ilgāku lidojuma laiku, ātrāku analīzi un atsaucīgāku lauksaimniecības atbalstu. Salīdzinot ar manuāli izstrādātiem modeļiem, izvietošanai pielāgotais NAS nodrošina labāku veiktspējas vispārināšanu, mazāku manuālas regulēšanas piepūli un mērogojamību jaunām bezpilota lidaparātu platformām.

Precīzās lauksaimniecības kontekstā šie uzlabojumi var padarīt bezpilota lidaparātu (UAV) kultūraugu uzraudzību praktiskāku un efektīvāku. Droni, kas aprīkoti ar NAS optimizētiem detektoriem, var uzticamāk noteikt nezāles, kaitēkļus vai stresu, nodrošinot savlaicīgu iejaukšanos, kas ietaupa resursus un palielina ražu. Tā kā lauksaimniecība turpina ieviest dronus un mākslīgo intelektu, izvietošanai apzinīgām NAS būs galvenā loma, lai nodrošinātu, ka modeļi, kas darbojas uz šiem droniem, ir efektīvi, precīzi un gatavi darbam laukā. Tas savieno jaunākos neironu tīklu pētījumus un lauksaimnieku praktiskās vajadzības, palīdzot veicināt uz datiem balstītas, precīzās lauksaimniecības nākotni.