Vaidmuo, kurį atlieka diegimo optimizavimas, atliekant autonominius bepilotes orlaivių (UAV) sistemas draugišką tinklo priežiūrą, siekiant efektyvios pasėlių stebėsenos

B(eronaučiai orlaiviai (UAV), dar vadinami dronais, pakeičia modernųjį žemės ūkį, suteikdami greitus vaizdus iš oro. Jie naudojami pasėliams stebėti dėl jų sveikatos, augimo stadijos, kenkėjų, piktžolių ir derliaus įvertinimo. Pavyzdžiui, Kinijoje šiuo metu veikia daugiau nei 250 000 žemės ūkio dronų, o Tailande apie 30% dirbamų laukų buvo padengta dronų purškimo arba stebėjimo paslaugomis iki 2023 m. Šie UAV daro žemės ūkį efektyvesnį, greitai aptikdami problemas (pvz., kenkėjų protrūkius ar vandens trūkumą), kurios gali būti nepastebėtos ant žemės.

Tačiau nedideli bepiločiai orlaiviai turi labai ribotą borto skaičiavimo galią ir akumuliatoriaus veikimo laiką. Todėl sudėtingų dirbtinio intelekto regos algoritmų paleidimas juose realiuoju laiku yra iššūkis. Tradiciniai lengvi objektų aptikimo modeliai (pavyzdžiui, mažyčiai YOLO arba "MobileNet" grindžiami detektoriai) gali tik iš dalies patenkinti šiuos poreikius: dėl jų dažnai prarandamas tikslumas arba greitis, be to, juos reikia gerokai derinti rankiniu būdu. Ši spraga motyvuoja dislokacijos poreikius atitinkančią neuroninės architektūros paiešką (NAS): automatinio projektavimo metodą, kuriuo gilaus mokymosi modeliai pritaikomi prie tikslių dislokuotų bepiločių orlaivių reikalavimų.

Šiuolaikinėje tiksliojoje žemdirbystėje, la.

Tačiau maži dronų borto kompiuteriai (dažnai apriboti kelių vatų galia) sunkiai dirba, kad skrydžio greičiu paleistų didelius neuroninius tinklus. Dėl to sudėtinga atlikti analizes realiu laiku: jei dronas pastebi problemą, jis turi greitai reaguoti arba užfiksuoti duomenis, kol nepradėjo trūkti baterijos. Dabartiniai lengvieji detektoriai (pvz., YOLOv8 nano, YOLO-tiny, MobileNets) yra sukurti rankiniu būdu ir dažnai apima kompromisus: mažesnis modelis pagreitina jo veikimą, tačiau gali sumažinti tikslumą.

Dėl to kyla didelis poreikis metodams, kurie automatiškai rastų geriausią įmanomą modelį, atsižvelgiant į drono apribojimus. Diegimui pritaikytas NAS (Neural Architecture Search) atitinka šį poreikį, ieškant neuroninių tinklų architektūrų, kurios kartu optimizuoja aptikimo tikslumą ir išteklių naudojimą (vėlavimą, energiją, atmintį) realiomis drono sąlygomis. Šis metodas gali tiekti specializuotus modelius, kurie efektyviai veikia drono aparatinei įrangai, tačiau išlieka labai tikslūs atliekant pasėlių stebėjimo užduotis.

Reikalavimai UAV objektų aptikimui žemės ūkio pasėlių stebėsenoje

Žemės ūkio UAV atlieka įvairias vizualinio aptikimo užduotis, kurių kiekviena kelia skirtingus reikalavimus:

1. Augalų sveikatos ir streso aptikimas: Dronai naudoja RGB, termines ar daugiaspektres kameras, kad nustatytų stresą patiriančius augalus, maistinių medžiagų trūkumą ar ligų simptomus. Realaus laiko algoritmai gali sudaryti laukų variabilumo žemėlapius, leidžiančius valdyti laistymą ar tręšimą. Tikslus augalų streso požymių aptikimas leidžia laiku imtis priemonių derliui išsaugoti.

2. Piktžolių identifikavimas: Aptikti piktžoles tarp pasėlių leidžia ūkininkams purkšti tik nepageidaujamus augalus, taupant herbicidus. Pavyzdžiui, tyrime, atliktame medvilnės laukuose, buvo naudojama dronų (UAV) nuotraukų su YOLOv7 pagrindu veikiančiu detektoriumi, ir pasiekta apie 83% tikslumas atskiriant piktžoles nuo medvilnės. Tačiau vizualiai panašių piktžolių ir pasėlių atskyrimas lieka sudėtingas užgriozdintose laukų nuotraukose.

3. Kenkėjų ir ligų aptikimas: Be(s)manevriai orlaiviai (UAV) gali aptikti protrūkius (pvz., skėrius, vabzdžius ar grybelines ligas) anksčiau nei žmonės, einantys pėsčiomis. Dronai taip pat padeda žemėlapiuose vaizduoti kenkėjų užkrėstas zonas, naudojant multispektrinį vaizdavimą, kuris yra geresnis nei vien tik RGB. Greitas ir tikslus kenkėjų aptikimas yra būtinas, siekiant užkirsti kelią jų plitimui.

4. Derliaus įvertinimas: Vaisių, varpų ar augalų skaičiavimas iš oro padeda prognozuoti derliaus apimtis. Modeliai, apmokyti atpažinti obuolius, melionus ar kviečių varpas UAV vaizduose, gali pagreitinti derliaus vertinimą. Pavyzdžiui, neuroniniai tinklai, naudojant dronų vaizdus, buvo taikomi arbūzų ir melionų pasėliams laukuose skaičiuoti.

5. Topografija ir kartografija: Dronai taip pat kuria laukų žemėlapius (topografinius, dirvožemio skirtumų), kurie padeda planuoti pasėlius. Nors tai nėra griežtai objektų aptikimas, tai yra dronų stebėjimo dalis.

Šios užduotys dažnai reikalauja beveik realaus laiko išvedimo: dronas, skrendantis virš laukų, gali tekti apdoroti vaizdo kadrus „on-the-fly“ (kelis kadrus per sekundę), kad būtų galima nedelsiant priimti valdymo sprendimus (pvz., pakeisti aukštį ar įjungti purkštuvą). Kitais atvejais nedidelis vėlavimas (sekundės) gali būti priimtinas, jei duomenys registruojami ir analizuojami po nusileidimo.

Svarbu tai, kad dronų vizija turi atlaikyti aplinkos kintamumą: ryškią saulės šviesą, šešėlius, vėjo sukeltą judesio suliejimą, lapų persidengimo sukeliamą uždengimą arba aukščio bei kampo pokyčius. Objektų dydžiai skiriasi (iš arti esančios piktžolės priešais nutolusius kenkėjų būrius), todėl detektoriai turi valdyti daugialypius mastelius.

Galiausiai, žemės ūkio dronų misijose didelis tikslumas, vėlavimas ir energijos suvartojimas yra glaudžiai susiję. Reikalingas didelis aptikimo tikslumas, kad nebūtų praleidžiamos piktžolės ar kenkėjai, tačiau naudojant labai gilius tinklus baterija gali greitai išsikrauti. Todėl aptikimo modelis turi būti greitas ir energijos taupantis, tačiau pakankamai tikslus atliekant užduotį. Šie griežti reikalavimai parodo, kodėl žemės ūkyje naudojamiems dronams reikalingas specialus modelių dizainas.

Lengvi objekto detektoriai, skirti UAV platformoms

Lengvi objekto detektoriai yra neuroniniai tinklai, specialiai sukurti veikti ribotos techninės įrangos sąlygomis. Juose dažnai naudojami nedideli pagrindiniai tinklai (pvz., MobileNet ar ShuffleNet), sumažintas sluoksnių plotis arba supaprastinta kaklo/galvos struktūra. Pavyzdžiui, YOLO šeimos modeliuose yra “nano” ir “tiny” versijos (pvz., YOLOv8n, YOLOv5s), kurios turi mažiau parametrų ir reikalauja mažiau operacijų (FLOPs).

Tokie detektoriai gali veikti dešimtimis kadrų per sekundę ant įterptosios aparatinės įrangos, pvz., NVIDIA Jetson Nano ar Google Coral. Pavyzdžiui, Ag-YOLO buvo pagal užsakymą sukurtas YOLO pagrindu veikiantis detektorius palmių plantacijoms, kuris veikė 36,5 fps spartą ant Intel Neural Compute Stick 2 (naudodamas tik 1,5 W) ir pasiekė aukštą tikslumą (F1 = 0,9205). Šis modelis naudojo apie 12 kartų mažiau parametrų nei YOLOv3-Tiny, dvigubai padidindamas jo spartą.

Šie pavyzdžiai parodo modelio projektavimo kompromisus: sumažinus modelio dydį ar sudėtingumą (pvz., mažiau sluoksnių ar kanalų), paprastai pagreitėja išvedimas ir sumažėja energijos sąnaudos, tačiau gali suprastėti tikslumas. Ag-YOLO atsisakė tam tikro pajėgumo, kad pasiektų greitį ir efektyvumą, tačiau vis tiek išlaikė aukštą 0,92 F1 balą savo užduotyje.

Panašiai, vabalų aptikimui buvo lyginamos trys YOLOv7 variacijos: pilnas YOLOv7 pasiekė 83% tikslumą, o mažesnis YOLOv7-w6 tinklas sumažėjo iki 63% tikslumo. Tai iliustruoja bendrųjų lengvųjų detektorių apribojimą: vienai aplinkai ar objektų tipui pritaikyti modeliai gali blogai veikti kitoje. Optimizuotas greičiui detektorius gali praleisti subtilius ženklus (pvz., mažas arba užsimaskavusias piktžoles), o tai kenkia tvirtumui kintant sąlygoms.

Žemės ūkyje šie bendriniai lengvi tinklai gali būti ne optimalūs be papildomų koregavimų. Pavyzdžiui, YOLOv7 modelis, iš anksto apmokytas bendruose duomenų rinkiniuose, gali nepriekaištingai apdoroti unikalias pasėlių vaizdų tekstūras ir mastelius. Todėl reikia optimizuoti modelio architektūrą konkrečiai užduočiai ir platformai. Rankinis derinimas (keičiant sluoksnius, filtrus ir pan.) kiekvienam naujam dronų tipui ar pasėlių veislei reikalauja daug darbo. Tai skatina automatinius metodus – tokius kaip diegimo galimybes atsižvelgianti NAS (Network Architecture Search) – siekiant rasti geriausią dydžio, tikslumo ir atsparumo balansą konkrečiai UAV platformai ir žemės ūkio taikymui.

Neuroninių architektūrų paieška UAV vizualiose sistemose

Neuronų architektūros paieška (NAS) yra automatizuotas neuroninių tinklų architektūrų projektavimo metodas. Vietoj rankinio sluoksnių, filtrų ir jungčių skaičiaus nustatymo, NAS naudoja algoritmus (sustiprinimo mokymąsi, evoliucinius metodus arba gradientu pagrįstą paiešką) tiria galimų dizainų erdvę ir randa tuos, kurie optimizuoja pasirinktą tikslą (pvz., tikslumą).

NAS jau buvo taikytas kuriant mobiliuosius tinklus. Pavyzdžiui, “Google” sukurtas „MnasNet“ buvo novatoriškas „platformos atpažinimo“ NAS, tiesiogiai įtraukęs realaus įrenginio delsą į objektyvą. „MnasNet“ ieškodamas kiekvieno kandidatinio modelio matavo išvadų laiką „Google Pixel“ telefone ir subalansavo tikslumą pagal šią išmatuotą delsą. Rezultatas – vaizdo konvoliucinių tinklų (CNN) šeima, kuri mobilioje įrangoje buvo greita ir tiksli, ir pranoko rankiniu būdu sukurtus „MobileNets“ ir „NASNet“ modelius „ImageNet“.

Tačiau bendrieji NAS metodai, tokie kaip "MnasNet", skirti bendroms regos užduotims (ImageNet klasifikavimas arba COCO aptikimas) ir bendrai techninei įrangai (pvz., mobiliesiems telefonams). Bepiločių orlaivių pasėlių stebėsenos atveju problema yra labiau specializuota. Norime, kad detektoriai būtų optimizuoti konkrečioms objektų klasėms (augalai, piktžolės, kenkėjai) ir pritaikyti bepiločio orlaivio jutikliams bei skrydžio profiliui. Standartinė NAS, kuri optimizuojama tik tikslumui arba bendram vėlavimui, gali nepastebėti tokių niuansų, kaip mažų objektų aptikimas arba energijos apribojimai.

Taip pat tradiciniai NAS metodai gali būti labai imlūs skaičiavimams (dažnai reikalaujantys dienų dideliuose GPU klasteriuose), o tai ne visada praktiška žemės ūkio tyrėjams. Todėl UAV vizijai reikalingi specifiniams uždaviniams skirti NAS karkasai. Jame turi būti integruoti su UAV susiję kriterijai ir jis turi būti kuo efektyvesnis.

Visais atvejais svarbus yra apribojimų suvokimas: NAS turi suvokti tikslinio įrenginio apribojimus (panašiai kaip MnasNet) ir realaus laiko UAV užduočių poreikius. Jei paieška bus per lėta arba ignoruos energijos suvartojimą, gautas modelis gali iš tiesų neveikti gerai lauke.

Praktiškai, NAS, skirtas dronų vizijai, tiesiogiai įtrauktų aparatinės įrangos vėlavimą ir energijos suvartojimą į paieškos metriką. Pavyzdžiui, galima išmatuoti kandidatinio detektoriaus kadrų dažnį ant realaus drono kompiuterio (pvz., NVIDIA Jetson) ir naudoti jį kaip rezultatą. Tai skiriasi nuo paprastų tarpinių dydžių, pvz., FLOPs, naudojimo, kurie neatspindi realaus greičio.

Tai leidžia NAS atrasti architektūras, kurios geriausiai išnaudoja įrenginio galimybes. Apibendrinant, NAS siūlo automatinio detektorių projektavimo UAV būdą, tačiau jį reikia pritaikyti atsižvelgiant į UAV specifiką ir efektyvumo reikalavimus.

Taikymo atžvilgiu sąmoninga NAS: pagrindiniai principai

Dezultu-žinanti NAS plečia aparatinę-žinančią NAS, įtraukdama dezulto kontekstą ir aplinkos apribojimus į projektavimo procesą. Kitaip tariant, ji ne tik atsižvelgia į drono aparatinę įrangą (CPU/GPU greitį, atminties apribojimus, energijos biudžetą), bet ir į tai, su kuo UAV iš tikrųjų susidurs lauke. Tai reiškia, kad siekiant didelio aptikimo tikslumo, atskirai optimizuojami tokie rodikliai kaip išvedimo vėlavimas tiksliniame įrenginyje, energijos suvartojimas ir atminties pėdsakas.

Pavyzdžiui, NAS metu kiekvieną kandidatinį modelį būtų galima įdiegti „Jetson Nano“ įrenginyje, pritvirtintame prie drono, ir įrašyti jo tikrąjį išvedimo laiką bei energijos suvartojimą. Šis empirinis grįžtamasis ryšys padeda nukreipti paiešką link modelių, kurie iš tikrųjų atitinka diegimo kriterijus.

Į aparatinę įrangą orientuota NAS (pvz., "MnasNet") daugiausia dėmesio skiria įrenginio metrikai, o į diegimą orientuota NAS žengia toliau: ji gali atsižvelgti į jutiklio įvesties charakteristikas (pvz., vaizdo skiriamąją gebą, daugiaspektrius kanalus) ir taikomosios programos vėlavimo tikslus (reikalingi kadrai per sekundę). Ji netgi gali apimti skrydžio apribojimus, pavyzdžiui, didžiausią leistiną atmintį, arba atlikti vertinimus esant imituojamam vėjo drebėjimui ar judesio susiliejimui.

Pritaikoma diegimui NAS gali taikyti sankcijas architektūroms, kurios viršija, tarkime, 5W galios sąnaudas arba kurioms reikia daugiau atminties nei turi dronas. Tai darydamas, paieška natūraliai linksta prie praktinių modelių, skirtų realioms drono operacijoms. Iš esmės, diegimui pritaikyta NAS yra apie modelio projektavimo ir realaus pasaulio naudojimo ciklo užbaigimą. Užuot pasirinkus architektūrą atskirai ir tikintis, kad ji veiks, paieškos metu sistemiškai atliekami realaus įrenginio bandymai.

Pavyzdžiui, Kerec ir kt. (2026) panaudojo tokį pagrindą UAV detektoriui ieškoti: jie rėmėsi YOLOv8n pagrindu, tačiau į paiešką įtraukė Jetson Nano vėlavimą ir energiją. Gautas modelis turėjo 37% mažiau GFLOPs ir 61% mažiau parametrų nei YOLOv8n, o mAP sumažėjo tik 1.96%. Tai akivaizdžiai parodo, kaip diegimo apribojimai paskatino NAS ieškoti daug lengvesnio, greitesnio tinklo.

Diskretizacijos našumo tinklo architekturą (NAS) vaidmuo tiksliųjų laukų stebėjime

Diegimui pritaikytas NAS gali žymiai pagerinti dronų valdomų pasėlių stebėjimą, pritaikant detektorius žemės ūkio sąlygoms. Pavyzdžiui, paieška gali teikti pirmenybę architektūroms, kurios puikiai aptinka mažus, plonus objektus (pvz., siaurus piktžoles ar plonus kukurūzų daigus) arba atskiria augalus nuo dirvožemio fono. Jis gali reguliuoti tinklo gylį ir priimančiuosius laukus atsižvelgiant į tipišką skrydžio aukštį: žemame aukštyje objektai užpildo vaizdą ir gali reikalauti smulkių detalių, o aukštesniame aukštyje tinklas turėtų gerai atlikti mažo masto aptikimą. Diegimui pritaikytas NAS gali įtraukti šiuos reikalavimus į savo paieškos erdvę.

Laukelyje greitis yra kritinis. Įsivaizduokite, kad dronas aptinka kenkėjų protrūkį; jei modelis yra pakankamai greitas, kad apdorotų vaizdo įrašą, tarkime, 30 kadrų per sekundę, jis gali įspėti pilotą arba inicijuoti nedelsiant gydymo veiksmą. Bandymuose NAS suprojektuotas modelis, palyginti su standartiniu YOLOv8n, veikė 28% greičiau „Jetson Nano“, dėka optimizuotos architektūros. Jis taip pat sunaudojo 18,5% mažiau energijos naudojant ONNX vykdymo laiką, o tai reiškia, kad dronas gali skristi ilgiau su ta pačia baterija. Šie privalumai daro sprendimų priėmimą skrendant labiau įgyvendinamą ir pailgina misijos trukmę.

Tvirtumas yra dar vienas privalumas. Kadangi į diegimą orientuotas NAS apima faktinį prietaiso vertinimą, paieška gali apimti testavimą įvairiomis sąlygomis. Pavyzdžiui, jis gali modeliuoti prastą apšvietimą arba įtraukti treniruočių vaizdus iš aušros ir sutemų, užtikrindamas, kad galutinis detektorius išlaikys tikslumą esant realiam orui ir apšvietimo pokyčiams. Darbas parodė, kad NAS sukurtas detektorius gerai generalizavosi: jį testavo su dviem skirtingais kultūrų duomenų rinkiniais (kviečių varpos ir medvilnės sodinukai) ir nustatė gerą našumą abiem atvejais.

Tai rodo, kad dislokacijai jautrus NAS padėjo rasti bendrų, naudingų žemės ūkiui ypatybių, pagerinant generalizaciją naujuose laukuose. Apskritai, dislokacijai jautrus NAS padeda subalansuoti tikslumą ir ilgesnį skrydžio laiką. Sumažinus skaičiavimus, dronai naudoja mažiau energijos ir gali apimti didesnį plotą vienu akumuliatoriaus įkrovimu, vis dar patikimai aptikdami pasėlius ir kenkėjus.

Paieškos erdvės dizainas žemės ūkio UAV detektoriams

Svarbi diegimo žiniškos NAS dalis yra paieškos erdvė – galimų tinklo dizainų rinkinys, kurį ji

1. Nugaros dizainas: Stuburas yra bruožų išskirimo modulis. Skraidyklių (angl. UAV) atveju būtų galima įtraukti lengvus konvoliucinius pastatymo blokus, tokius kaip giluminiai atskiriamieji konvoliucionai (angl. depthwise separable convolutions, kaip naudojama MobileNet) arba atvirkštiniai liekamieji blokai (angl. inverted residual blocks). Atvirkštiniai liekamieji blokai ir tiesiniai "buteliai" (angl. inverted residuals and linear bottlenecks, MobileNetV2 stilius) yra gerai žinomi dėl mobiliojo efektyvumo. Paieškos erdvė galėtų leisti keisti kiekvieno bloko plotį (kanalų skaičių) ir gylį, siekiant atitikti skraidyklės skaičiavimo biudžetą. Jei skraidyklė gali sau leisti tokias funkcijas esant mažoms energijos sąnaudoms, taip pat galėtų būti įtrauktos atkreipiančio dėmesio arba transformerių įkvėptos (angl. attention or transformer-inspired) moduliai.

2. Kaklo dizainas: Daugelis objektų detektorių naudoja ypatybių piramides (FPN) arba kelio agregavimo tinklus, kad sujungtų įvairaus masto ypatybes. Paieška galėtų ištirti supaprastintas FPN arba nesvarias ypatybių agregavimo schemas. Pavyzdžiui, galimybių gali būti naudojant vieno masto galvą, palyginti su kelių mastų galvomis. Ši erdvė gali leisti naudoti telkimo sluoksnius arba praleidžiamuosius ryšius, kurie padeda aptikti skirtingų dydžių objektus.

3. Galvos konstrukcija: Aptikimo galvutę (klasifikacijos ir dėžutės regresijos sluoksnius) taip pat galima keisti. Jei dronai stebi vienodus laukus, gali pakakti paprastesnės galvutės. Tačiau norint aptikti smulkius piktžoles, paieškoje gali būti papildomų konvoliucinių sluoksnių arba skirtingų inkaro schemų.

4. Lengvi veiksmai: Paieškos erdvė gali aiškiai leisti tik nebrangias operacijas. Pavyzdžiui, pasirenkant tarp 3×3 konvoliucio, arba pigesnio 1×3+3×1 faktorizuoto konvoliucio, ar įtraukiant GhostNet modulius. Ji taip pat gali leisti mažus branduolio dydžius arba sumažintus matmenis, kad būtų apribotas skaičiavimas. Visi šie pasirinkimai yra nulemti aparatinės įrangos. Erdvė gali uždrausti bet kokią sluoksnio konfigūraciją, viršijančią drono atminties ribą ar numatomą energijos slenkstį.

Kruopščiai suprojektavus šią paieškos erdvę, NAS procesas nukreipiamas link efektyvių, bet našumo architektūrų. Rezultatas gali būti naujas blokų derinys, kuris nebuvo svarstomas standartiniuose modeliuose. Geriausiai rastas detektorius naudojo pasirinktinius blokus, kurie sumažino GFLOPs 37% ir parametrus 61% lyginant su YOLOv8n.

Tai buvo įmanoma, nes NAS galėjo derinti ir priderinti stublo ir galvos elementus pagal UAV apribojimus. Apibendrinant, žemės ūkio UAV detektorių paieškos erdvė daugiausia dėmesio skiria mastelį keičiantiems, lengviems statybiniams blokams ir daugialypesiškumo tvarkymui, visa tai riboja borto techninė įranga.

Optimizavimo tikslai ir apribojimai

Taikymo informuotas NAS turi derinti kelis tikslus. Pagrindinis tikslas paprastai yra aptikimo tikslumas (pvz., vidutinis tikslumas, mAP), matuojamas pagal augalininkystės stebėjimo duomenis. Pavyzdžiui, mAP@50 (tikslumas prie 50% IOU) yra dažnas metrikas. NAS optimizuotas modelis turėjo tik 1,96% sumažėjimą mAP@50, palyginti su baziniu YOLOv8n, o tai yra labai nedidelis nuostolis už pasiektus privalumus. Taip pat atsižvelgiama į tikslumą ir atšaukimą (arba F1 balą) pagrindinėse klasėse (piktžolės, pasėliai).

Tuo pat metu reikia optimizuoti delsos laiką ir energijos sąnaudas. Delso laikas yra išvedimo laikas vienam vaizdui; įterptajai GPU jis gali būti 20–50 ms ar daugiau. Mažesnis delsos laikas reiškia didesnį kadrų dažnį. Energijos suvartojimas (džauliai vienam kadrui) yra labai svarbus skrydžio trukmei. Kitas apribojimas yra atminties naudojimas (parametrų skaičius, modelio dydis); modeliai turi tilpti į įrenginio RAM. Todėl NAS paprastai nustato šių apribojimų tikslą arba baudą.

Pavyzdžiui, bet kuris modelis, lėtesnis už tam tikrą ribą arba viršijantis parametrų biudžetą, gali būti žeminamas reitinge. Tai veiksmingai paverčia NAS daugialypės optimizacijos problema: maksimaliai padidinti tikslumą, tuo pačiu minimaliai sumažinant vėlavimą, energijos sąnaudas ir dydį.

Praktiškai tai būtų galima padaryti svyruojančiu tikslų sumavimu arba griežtais apribojimais. Kai kurie metodai taiko didelę baudą bet kuriam kandidatui, viršijančiam UAV galios ribą. Kiti tiesiogiai apskaičiuoja energijos metriką: modeliai buvo išbandyti naudojant ONNX runtime, siekiant įvertinti “energijos efektyvumą”, ir geriausias modelis buvo +18,5% efektyvesnis energijos atžvilgiu nei YOLOv8n. Tai buvo vienas iš tikslų, kuriuo vadovavosi jų paieška.

Aptarti kompromisai gali būti vizualizuojami Pareto fronte: viename gale yra itin greiti, bet mažiau tikslūs modeliai, kitame – dideli, tikslūs, tačiau per lėti ar per daug energijos reikalaujantys modeliai dronui. Taikomiesiems tikslams pritaikytas modelių architektūros optimizavimas (NAS) siekia rasti optimalią vietą šiame fronte, atitinkančią realios misijos prioritetus (pvz., nedidelis tikslumo sumažėjimas už didelį pagreitinimą). Apibendrinant, NAS turi kartu atsižvelgti į tikslumo metrikas (mAP, F1) ir apribojimus vykdymui (ms per kadrą, džauliai per kadrą, atmintis). Šis subalansuotas optimizavimas padaro modelį visiškai paruoštą naudojimui bepilotėse oro transporto priemonėse.

Mokymas ir vertinimas realiose žemės ūkio sąlygose

Kad NAS rasti detektoriai veiktų gerai, jie turi būti apmokyti ir išbandyti naudojant realius žemės ūkio duomenis. Tai reiškia, kad reikia naudoti duomenų rinkinius, kurie atspindėtų tikrų laukų įvairovę: skirtingas augalų rūšis, augimo stadijas, sezonus, apšvietimo sąlygas ir aukštį. Pavyzdžiui, mokymasis tik iš jaunų kukurūzų daigų nuotraukų gali nesusieta su brandžių kviečių varpomis. Laukus atstovaujantys duomenų rinkiniai užtikrina, kad modelis išmoktų bruožus, kurie yra svarbūs ūkyje. Mokymo metu taip pat gali būti taikomi duomenų padidinimo metodai (atsitiktiniai apkarpymai, ryškumo pakeitimai, suliejimas dėl judesio), siekiant imituoti drono judėjimą ir apšvietimą.

Vertinant svarbu testuoti modelį kuo artimesnėmis realioms sąlygomis. Simuliavimo įrankiai gali padėti (pvz., virtualaus drono skridimas virš 3D laukų), tačiau tikri skrydžių testai yra aukso standartas. Borto palyginimas atliekamas paleidžiant modelį ant realios UAV įrangos. Po NAS jie įdiegė kandidatą į Jetson Nano ir išmatavo 28,1% greitesnę išvadą (palyginti su baziniu YOLOv8n) ir geresnį energijos naudojimą. Toks grįžtamasis ryšys iš realaus įrenginio patvirtina, kad paieška davė modelį, kuris tikrai atitinka reikalavimus.

Generalizacija taip pat yra svarbi. Modelis gali būti ieškomas ir apmokytas vienam pasėliui (pvz., kviečiams), tačiau ūkininkams reikalingi detektoriai, veikiantys įvairiuose laukuose. Tyrimas parodė stiprią tarp pasėlių generalizaciją: NAS gautas detektorius, apmokytas vienai užduočiai, vis tiek gerai veikė su kita pasėlių duomenų rinkiniu (medvilnės daigais) be permokymo. Tai rodo, kad diegimui pritaikytas NAS gali duoti tvirtas architektūras. Tačiau domenų pokyčiai (pvz., perėjimas iš kukurūzų laukų į sodus) vis tiek gali reikalauti tikslaus derinimo ar papildomos paieškos. Taip pat patariama atlikti bandymus tarp sezonų (vasaros ir rudens vaizdinė medžiaga).

Galiausiai, prieš diegiant kiekvieną naują modelį, jis turėtų būti bandomas UAV platformoje. Tai apima jo tikslumo ir greičio fiksavimą dronuose, užtikrinant, kad jis neperkaistų aparatūros, ir energijos suvartojimo patikrinimą. Tik tada ūkininkai galės juo pasitikėti atlikdami kritinės svarbos stebėjimo užduotis. Sujungus su lauko sąlygomis susijusį mokymą ir griežtą aparatūros vertinimą, diegimui tinkama NAS sukuria detektorius, kurie yra ne tik teoriškai efektyvūs, bet ir įrodyti lauko sąlygomis.

Privalumai, lyginant su ranka projektuojamais dronų detektoriais

Dydžio taupymas paremtas tinklo paieškos metodas (Deployment-aware NAS) siūlo kelis akivaizdžius privalumus, palyginti su tradiciniais, rankiniu būdu sukurtais bepiločių orlaivių modeliais:

1. Geresni našumo kompromisai: NAS-rasti modeliai paprastai užtikrina aukštesnį tikslumo, greičio ir energijos efektyvumo derinimą. Pavyzdžiui, geriausias modelis Jetson Nano veikė 28% greičiau ir naudojo 18,5% mažiau energijos nei rankiniu būdu pasirinktas YOLOv8n bazinis modelis, prarandant tik apie 2% aptikimo mAP. Tokią pusiausvyrą pasiekti rankiniu būdu būtų labai sunku.

2. Geresnis apibendrinimas: NAS sukurti modeliai gali būti labiau pritaikomi prie naujų sąlygų, nes paieška gali apimti įvairius duomenis ar tikslus. Automatiškai suprojektuotas detektorius gerai generalizavosi tarp skirtingų pasėlių tipų (kviečių ir medvilnės) bei apšvietimo sąlygų. Toks platus atsparumas yra gyvybiškai svarbus, kai skrydžių metu pasitaiko netikėtų scenų.

3. Sumažintos inžinerinės pastangos: NAS automatizuoja daug bandymų ir klaidų. Užuot rankiniu būdu koregavus sluoksnių dydžius ir išbandžius daugybę kandidatų, diegimui paruoštas NAS iteratyviai tyrinėja pasirinkimus ir randa jums geriausią dizainą. Tai taupo kūrimo laiką ir patirtį, palengvina detektorių atnaujinimą naujoms užduotims ar techninei įrangai.

4. Mastelis: Kai NAS sistema yra nustatyta, ją galima naudoti skirtingoms UAV platformoms ar misijoms. Pavyzdžiui, tas pats diegimą žinantis NAS galėtų ieškoti detektoriaus, suderinto su skirtinga kameros skiriamąja geba ar drono modeliu, tiesiog pakeitus apribojimų įvestis. Tai yra daug labiau pritaikoma nei perkuriant tinklus nuo nulio kiekvienam scenarijui.

Iššūkiai ir apribojimai

Įdiegimui pritaikytas NAS yra galingas, bet ne stebuklingas vaistas. Jį reikia taikyti apgalvotai, atsižvelgiant į jo resursų poreikius ir tikslinės aplinkos kintamumą. Nepaisant savo pažadų, įdiegimui pritaikytas NAS susiduria su iššūkiais:

1. Didelės paieškos išlaidos: NAS gali reikalauti ženklios skaičiavimo galios. Net ir naudojant efektyvius algoritmus, architektūros erdvės paieška gali užtrukti daug GPU valandų (arba specializuoto skaičiavimo). Jei tinkamai nesuvaldyta, paieškos sąnaudos kai kurioms komandoms gali būti nepraktiškos.

2. Duomenų šališkumas ir domenų poslinkis: NAS yra toks geras, koks yra jo naudojamų duomenų. Jei mokymo vaizdai neatspindi lauko sąlygų, rasta architektūra gali veikti nepakankamai realiomis sąlygomis. Pavyzdžiui, modelis, pritaikytas vienai pasėlių rūšiai ar vienam geografiniam regionui, gali negalioti be papildomo adaptavimo kitur.

3. Aparatūros įvairovė: Skraidančių bepiločių orlaivių aparatinė įranga būna įvairi (skirtingos integruotos GPU, CPU, FPGA). Vienai plokštei optimizuotas modelis gali būti neoptimalus kitai. Diegimui pritaikytas NAS turi arba pakartotinai atlikti paieškas kiekvienai platformai, arba naudoti konservatyvius apribojimus, tinkančius visoms – tai gali riboti našumą.

4. Praktiniai apribojimai: Taikant realioje aplinkoje, ūkininkavimo sprendimai apima tokius klausimus kaip belaidis tinklo atnaujinimas, sistemos integravimas su skrydžio valdymu ir saugos sertifikavimas. Net geriausias NAS modelis turi būti integruotas į visą dronų sistemą. Modelio atnaujinimų, leidimų gavimo ir ūkininkų mokymo derinimas yra ne techninės kliūtys.

Ateities kryptys

Ateityje tikėtina dar glaudesnė modelių dizaino, jutiklių technologijų ir UAV valdymo integracija. Diegimui pritaikytas NAS išliks svarbia šio bendro projektavimo proceso priemone. Žvelgiant į ateitį, atsiveria kelios įdomios kryptys:

1. Internetinis ir prisitaikantis NAS: Užuot vienkartinės paieškos neprisijungus, ateities sistemos galėtų tinklu pasirūpinti realiuoju laiku arba tarp skrydžių. Pavyzdžiui, dronas galėtų pradėti nuo bazinio modelio ir, naudodamas lengvus NAS algoritmus, prisitaikyti kelyje, kad susidorotų su naujomis apšvietimo ar reljefo sąlygomis. Šis “NAS įrenginyje” yra labai sudėtingas, bet gali žymiai pagerinti pritaikomumą.

2. Jutiklių ir modelių bendras projektavimas: Ateities tiksliosios žemdirbystės sistemos galėtų kartu optimizuoti kameros (RGB, multispektrinę, infraraudonųjų spindulių) ir neuroninio tinklo pasirinkimą. Diegimui pritaikomas tinklų paieškos metodas (NAS) galėtų būti išplėstas, įtraukiant jutiklio parametrus (pvz., naudojamus spektrinius dažnių ruožus) į savo paiešką, raskdamas geriausią aparatinės įrangos ir modelio derinį.

3. Multispektrinė/hiperspektrinė integracija: Medvilnės ligų tyrimas rodo, kad daugiaspektrių vaizdų integravimas gali pagerinti aptikimą, ypač ankstyvos stadijos problemų. Būsimi NAS galėtų ištirti kelių srautų modelius, kurie sujungia RGB ir artimuosius infraraudonuosius kanalus, kad patikimiau aptiktų subtilius augalų pokyčius.

4. Autonominės sprendimų priėmimo sistemos: Galiausiai, NAS optimizuoti detektoriai gali prisidėti prie visiškos autonomijos. Pavyzdžiui, dronas galėtų automatiškai sugeneruoti purškimo planą arba įspėti ūkio vadovus, jei aptiktų tam tikras sąlygas. Suplėtimo informuotas NAS galėtų būti išplėstas iki visapusio darbo proceso (detekcija + veiksmo modeliai), optimizuojant visą sistemą.

5. Etikos ir aplinkosaugos aspektai: Kadangi bepiločiai orlaiviai (UAV) tampa vis pajėgesni, turime atsižvelgti į privatumą, oro erdvės saugumą ir poveikį žemės ūkio darbuotojams (kaip pažymėjo Agrawal ir Arafat). Užtikrinti, kad Nacionalinės oro erdvės sistemos (NAS) optimizuoti dronai būtų atsakingai naudojami žemės ūkyje, yra svarbus ateities tikslas.

Išvada

Suderinamas su dislokavimu tinklinis-archytektonikos paieškos (NAS) yra galingas būdas pritaikyti lengvus objektų detektorius, skirtus dronais pagrįstam pasėlių stebėjimui. Įtraukus dronų aparatinę įrangą ir misijos apribojimus į paiešką, sukuriami modeliai, kurie taupo skaičiavimo pajėgumus ir energiją, daug nekarpydami tikslumo. Pavyzdžiui, neseniai atlikti darbai parodė, kad NAS sukurtas detektorius naudoja 37%mažiau FLOP ir 61% mažiau parametrų nei etaloninis YOLOv8n, tačiau jo mAP sumažėjo tik ~2%.

Praktiškai dronų aparatinėje įrangoje tai reiškė 28% spartesnę išvadą ir 18% geresnį energijos efektyvumą. Tokie laimėjimai reiškia ilgesnį skrydžio laiką, greitesnę analizę ir jautresnį žemės ūkio palaikymą. Palyginti su rankiniu būdu sukurtam modeliams, diegimui pritaikytas NAS užtikrina geresnį našumo gebėjimą bendrinti, mažesnes rankinio derinimo pastangas ir galimybę pritaikyti naujoms UAV platformoms.

Tikslumo žemės ūkyje šie patobulinimai gali padaryti bepiločių orlaivių (BPO) pasėlių stebėjimą praktiškesnį ir efektyvesnį. BPO, aprūpinti NAS optimizuotais detektoriais, gali patikimiau aptikti piktžoles, kenkėjus ar stresą, leidžiant laiku imtis veiksmų, taupant išteklius ir didinant derlių. Žemės ūkiui toliau diegiant BPO ir dirbtinį intelektą, diegimo informuotumas NAS vaidins pagrindinį vaidmenį užtikrinant, kad BPO veikiantys modeliai būtų efektyvūs, tikslūs ir parengti darbui laukuose. Tai sumažina atotrūkį tarp pažangiausių neuroninių tinklų tyrimų ir praktinių ūkininkų poreikių, padedant skatinti ateities duomenimis pagrįstą, tiksliojo žemės ūkio plėtrą.