CMTNet iš naujo apibrėžia tiksliąją žemdirbyst

Tikslus pasėlių klasifikavimas yra būtinas šiuolaikinei tiksliajai žemdirbystei, nes tai leidžia ūkininkams stebėti pasėlių sveikatą, prognozuoti derlių ir efektyviai paskirstyti išteklius. Tačiau tradiciniai metodai dažnai susiduria su sudėtingomis žemės ūkio sąlygomis, kai pasėliai labai skiriasi rūšimi, augimo stadijomis ir spektriniais požymiais.

Kas yra hiperspektrinis vaizdavimas ir CMTNet sistema?

Hiperspektrinis vaizdavimas (HSI) – technologija, fiksuojanti duomenis šimtuose siaurų, gretimų bangos ilgių juostų – tapo revoliucine šios srities technologija. Skirtingai nuo standartinių RGB kamerų ar multispektrinių jutiklių, kurie renka duomenis keliose plačiose juostose, HSI pateikia išsamų kiekvieno pikselio “spektrinį pirštų atspaudą”.

Pavyzdžiui, sveika augmenija stipriai atspindi artimojo infraraudonojo spektro šviesą dėl chlorofilo aktyvumo, o streso paveikti pasėliai pasižymi skirtingais sugerties modeliais. Užfiksuodamas šiuos subtilius pokyčius (nuo 400 iki 1000 nanometrų) didele erdvine skiriamąja geba (net 0,043 metro), HSI leidžia tiksliai diferencijuoti pasėlių rūšis, aptikti ligas ir atlikti dirvožemio analizę.

Nepaisant šių privalumų, esami metodai susiduria su iššūkiais subalansuojant vietines detales, tokias kaip lapų tekstūra ar dirvožemio modeliai, su pasauliniais modeliais, tokiais kaip didelio masto pasėlių pasiskirstymas. Šis apribojimas ypač išryškėja triukšminguose arba nesubalansuotuose duomenų rinkiniuose, kur nedideli spektriniai skirtumai tarp pasėlių gali lemti klaidingą klasifikavimą.

Siekdami išspręsti šiuos iššūkius, mokslininkai sukūrė CMTNet (Konvoliucinis ir transformatorinis tinklas) – nauja gilaus mokymosi sistema, apjungianti konvoliucinių neuroninių tinklų (CNN) ir transformatorių stipriąsias puses. CNN yra neuroninių tinklų klasė, skirta apdoroti tinklelio tipo duomenis, pvz., vaizdus, naudojant filtrų sluoksnius, kurie aptinka erdvines hierarchijas (pvz., kraštus, tekstūras).

Transformatoriai, iš pradžių sukurti natūralios kalbos apdorojimui, naudoja savęs dėmesio mechanizmus, kad modeliuotų ilgalaikes duomenų priklausomybes, todėl jie puikiai geba fiksuoti globalius modelius. Skirtingai nuo ankstesnių modelių, kurie nuosekliai apdorojo vietines ir globalias ypatybes, CMTNet naudoja lygiagrečią architektūrą, kad vienu metu išgautų abiejų tipų informaciją.

Šis metodas pasirodė esąs labai efektyvus, pasiekdamas modernų tikslumą trijuose pagrindiniuose bepiločių orlaivių (UAV) pagrindu sukurtuose HSI duomenų rinkiniuose. Pavyzdžiui, WHU-Hi-LongKou duomenų rinkinyje CMTNet pasiekė 99,58% bendrą tikslumą (OA), 0,19% pranokdamas ankstesnį geriausią modelį.

Tradicinio hiperspektrinio vaizdavimo iššūkiai žemės ūkio klasifikacijoje

Ankstyvieji hiperspektrinių duomenų analizės metodai dažnai buvo sutelkti į spektrinius arba erdvinius požymius, todėl rezultatai buvo neišsamūs. Spektriniai metodai, tokie kaip pagrindinių komponenčių analizė (PCA), sumažino duomenų sudėtingumą, sutelkdami dėmesį į bangos ilgio informaciją, tačiau ignoruodami erdvinius ryšius tarp pikselių.

Pavyzdžiui, PCA transformuoja daugiamačius spektrinius duomenis į mažiau komponentų, kurie paaiškina didžiausią dispersiją, taip supaprastindami analizę. Tačiau šis metodas neatsižvelgia į erdvinį kontekstą, pavyzdžiui, pasėlių išdėstymą lauke. Priešingai, erdviniai metodai, pavyzdžiui, matematiniai morfologijos operatoriai, išryškino fizinio pasėlių išdėstymo modelius, bet ignoravo svarbiausias spektrines detales.

Matematinė morfologija naudoja tokias operacijas kaip išplėtimas ir erozija, kad iš vaizdų išskirtų formas ir struktūras, pavyzdžiui, ribas tarp laukų. Laikui bėgant, konvoliuciniai neuroniniai tinklai (CNN) pagerino klasifikavimą apdorodami abiejų tipų duomenis.

Tačiau jų fiksuoti receptyvūs laukai – vaizdo plotas, kurį tinklas gali “matyti” vienu metu – ribojo jų gebėjimą užfiksuoti tolimojo nuotolio priklausomybes. Pavyzdžiui, 3D CNN gali būti sunku atskirti dvi sojų pupelių veisles, turinčias panašius spektrinius profilius, bet skirtingus augimo modelius dideliame lauke.

„Transformers“ – neuroninio tinklo tipas, iš pradžių sukurtas natūralios kalbos apdorojimui, pasiūlė šios problemos sprendimą. Naudodami savęs dėmesio mechanizmus, „Transformers“ puikiai modeliuoja globalius duomenų ryšius. Savęs dėmesys leidžia modeliui įvertinti skirtingų įvesties sekos dalių svarbą, todėl jis gali sutelkti dėmesį į atitinkamus regionus (pvz., sergančių augalų grupę), ignoruodamas triukšmą (pvz., debesų šešėlius).

Vis dėlto jie dažnai nepastebi smulkių vietinių detalių, tokių kaip lapų kraštai ar dirvožemio įtrūkimai. Hibridiniai modeliai, tokie kaip CTMixer, bandė sujungti CNN ir Transformers, tačiau tai darė nuosekliai, pirmiausia apdorodami vietinius požymius, o vėliau – globalius. Toks metodas lėmė neefektyvų informacijos suliejimą ir neoptimalų našumą sudėtingoje žemės ūkio aplinkoje.

Kaip veikia CMTNet: vietinių ir pasaulinių funkcijų sujungimas

„CMTNet“ įveikia šiuos apribojimus naudodama unikalią trijų dalių architektūrą, skirtą efektyviai išgauti ir sujungti spektrinius-erdvinius, vietinius ir globalius elementus.

1. Pirmasis komponentas, Spektrinio-erdvinio požymių išskyrimo modulis, apdoroja neapdorotus HSI duomenis naudodamas 3D ir 2D konvoliucinius sluoksnius.

Trimačiai konvoliuciniai sluoksniai vienu metu analizuoja tiek erdvinius (aukštis × plotis), tiek spektrinius (bangos ilgis) matmenis, fiksuodami tokius modelius kaip konkrečių bangos ilgių atspindys per pasėlių lają. Pavyzdžiui, trimatis grūdas gali aptikti, kad sveiki kukurūzai viršutiniuose lapuose atspindi daugiau artimojo infraraudonojo spinduliavimo šviesos, palyginti su apatiniais.

Tada 2D sluoksniai patikslina šias savybes, sutelkdami dėmesį į erdvines detales, tokias kaip augalų išsidėstymas lauke. Šis dviejų pakopų procesas užtikrina, kad būtų išsaugota ir spektrinė įvairovė (pvz., chlorofilo kiekis), ir erdvinis kontekstas (pvz., tarpai tarp eilių).

2. Antrasis komponentas, vietinis-globalus požymių išskyrimo modulis, veikia lygiagrečiai. Viena šaka naudoja CNN, kad sutelktų dėmesį į vietines detales, tokias kaip atskirų lapų tekstūra ar dirvožemio plotų forma. Šios savybės yra labai svarbios norint nustatyti rūšis, turinčias panašius spektrinius profilius, pavyzdžiui, skirtingas sojų pupelių veisles.

Kita šaka naudoja transformatorius, kad modeliuotų pasaulinius santykius, pavyzdžiui, kaip pasėliai pasiskirsto dideliuose plotuose arba kaip netoliese esančių medžių šešėliai veikia spektrinius rodmenis. Apdorodama šiuos elementus vienu metu, o ne nuosekliai, CMTNet išvengia informacijos praradimo, kuris kamavo ankstesnius hibridinius modelius.

Pavyzdžiui, nors CNN šaka identifikuoja nelygius medvilnės lapų kraštus, „Transformer“ šaka atpažįsta, kad šie lapai yra didesnio medvilnės lauko, apsupto sezamų augalų, dalis.

3. Trečiasis komponentas, kelių išėjimų apribojimų modulis, užtikrina subalansuotą mokymąsi tarp vietinių, globalių ir sujungtų požymių. Mokymo metu kiekvienam požymių tipui taikomos atskiros nuostolių funkcijos, todėl tinklas yra priverstas tobulinti visus savo supratimo aspektus.

Nuostolių funkcija kiekybiškai įvertina skirtumą tarp prognozuotų ir faktinių verčių, vadovaudamasi modelio koregavimais. Pavyzdžiui, vietinių požymių praradimas gali nubausti modelį už neteisingą lapų kraštų klasifikavimą, o bendras praradimas ištaiso didelio masto pasėlių pasiskirstymo klaidas.

Šie nuostoliai sujungiami naudojant svorius, optimizuotus atsitiktinės paieškos būdu – tai technika, kuri išbando įvairius svorių derinius, siekiant maksimaliai padidinti tikslumą. Šis procesas sukuria patikimą ir pritaikomą modelį, galintį apdoroti įvairius žemės ūkio scenarijus.

CMTNet našumo vertinimas bepiločių orlaivių hiperspektriniuose duomenų rinkiniuose

Norėdami įvertinti CMTNet, tyrėjai jį išbandė su trimis bepiločiais orlaiviais (UAV) gautais hiperspektriniais duomenų rinkiniais iš Uhano universiteto. Šie duomenų rinkiniai yra plačiai naudojami nuotolinio stebėjimo etalonas dėl savo aukštos kokybės ir įvairovės:

1. WHU-Hi-LongKouŠis duomenų rinkinys apima 550 × 400 pikselių su 270 spektrinių juostų ir 0,463 metro erdvine skiriamąja geba. 0,463 metro erdvinė skiriamoji geba reiškia, kad kiekvienas pikselis atitinka 0,463 m × 0,463 m plotą ant žemės, leidžiantį identifikuoti atskirus augalus. Jame yra devynių rūšių pasėliai, tokie kaip kukurūzai, medvilnė ir ryžiai, su 1 019 mokomaisiais pavyzdžiais ir 203 523 bandomaisiais pavyzdžiais.
2. WHU-Hi-HanchuanŠiame 1 217 × 303 pikselių raiškos ir 0,109 metro skiriamosios gebos duomenų rinkinyje yra 16 žemės dangos tipų, įskaitant braškes, sojų pupeles ir plastiko lakštus. Didesnė skiriamoji geba (0,109 m) leidžia gauti smulkesnes detales, pavyzdžiui, atskirti jaunus ir subrendusius sojų pupelių augalus. Mokymo ir bandymų imtys iš viso sudarė atitinkamai 1 289 ir 256 241.
3. WHU-Hi-HongHuŠis didelės skiriamosios gebos (0,043 metro) duomenų rinkinys, turintis 940 × 475 pikselių ir 270 juostų, apima 22 klases, tokias kaip medvilnė, rapsai ir česnakų daigai. Esant 0,043 m skiriamajai gebai, matomi atskiri lapai ir dirvožemio įtrūkimai, todėl jis idealiai tinka smulkiagrūdžiui klasifikavimui. Jame yra 1 925 mokymo pavyzdžiai ir 384 678 bandomieji pavyzdžiai.

Modelis buvo apmokytas NVIDIA TITAN Xp GPU naudojant „PyTorch“, mokymosi sparta buvo 0,001, o paketo dydis – 100. Mokymosi sparta lemia, kiek modelis koreguoja savo parametrus mokymo metu – per didelė sparta gali viršyti optimalias vertes; per maža sparta gali padėti apmokyti dar sunkiau.

Kiekvienas eksperimentas buvo pakartotas dešimt kartų, siekiant užtikrinti patikimumą, o įvesties fragmentai – maži viso vaizdo segmentai – buvo optimizuoti iki 13 × 13 pikselių naudojant tinklelio paiešką – metodą, kuris tikrina skirtingus fragmentų dydžius, kad būtų rastas efektyviausias.

CMTNet pasiekia modernų tikslumą pasėlių klasifikavime

„CMTNet“ pasiekė puikių rezultatų visuose duomenų rinkiniuose, pranokdama esamus metodus tiek bendru tikslumu (OA), tiek konkrečioms klasėms būdingu našumu. OA matuoja teisingai klasifikuotų pikselių procentinę dalį visose klasėse, o vidutinis tikslumas (AA) apskaičiuoja vidutinį tikslumą kiekvienoje klasėje, pašalindamas disbalansą.

„WHU-Hi-LongKou“ duomenų rinkinyje „CMTNet“ pasiekė 99,58% OA, 0,19% viršydamas „CTMixer“. Sudėtingose klasėse su ribotais mokymo duomenimis, pavyzdžiui, medvilnės (41 pavyzdys), „CMTNet“ vis tiek pasiekė 99,53% tikslumą. Panašiai ir „WHU-Hi-HanChuan“ duomenų rinkinyje jis pagerino arbūzų (22 pavyzdžių) tikslumą nuo 82,42% iki 96,11%, parodydamas gebėjimą apdoroti nesubalansuotus duomenis naudojant efektyvų požymių suliejimą.

Vizualiai palyginus klasifikavimo žemėlapius, pastebėta mažiau suskaidytų plotų ir lygesnės ribos tarp laukų, palyginti su tokiais modeliais kaip 3D-CNN ir „Vision Transformer“ (ViT). Pavyzdžiui, šešėlių paveiktame WHU-Hi-HanChuan duomenų rinkinyje CMTNet sumažino dėl žemo saulės kampo atsirandančias klaidas, o „ResNet“ neteisingai klasifikavo sojų pupeles kaip pilkus stogus.

Šešėliai kelia unikalų iššūkį, nes jie keičia spektrinius parašus – šešėlyje esantis sojų pupelių augalas gali atspindėti mažiau artimojo infraraudonojo spinduliavimo šviesos, primindamas neaugaliją. Pasitelkdama pasaulinį kontekstą, CMTNet atpažino, kad šie šešėlyje esantys augalai yra didesnio sojų pupelių lauko dalis, taip sumažindama paklaidas.

WHU-Hi-HongHu duomenų rinkinyje modelis puikiai atskyrė spektriniu požiūriu panašius augalus, pvz., skirtingas bastinių daržovių veisles, pasiekdamas 96,54% tikslumą. Brassica parachinensis.

Abliacijos tyrimai – eksperimentai, kurių metu pašalinami komponentai, siekiant įvertinti jų poveikį – patvirtino kiekvieno modulio svarbą. Vien tik kelių išėjimų apribojimų modulio pridėjimas padidino OA 1,52% WHU-Hi-HongHu sistemoje, pabrėždamas jo vaidmenį tobulinant požymių suliejimą. Be šio modulio vietiniai ir globalūs požymiai buvo derinami atsitiktinai, todėl klasifikacijos buvo nenuoseklios.

Skaičiavimo kompromisai ir praktiniai aspektai

Nors CMTNet tikslumas yra neprilygstamas, jo skaičiavimo sąnaudos yra didesnės nei tradicinių metodų. Mokymasis WHU-Hi-HongHu duomenų rinkinyje užtruko 1 885 sekundes, palyginti su 74 sekundėmis, kai buvo naudojamas „Random Forest“ (RF) – mašininio mokymosi algoritmas, kuris mokymo metu kuria sprendimų medžius.

Tačiau šis kompromisas yra pateisinamas tiksliojoje žemdirbystėje, kur tikslumas tiesiogiai veikia derliaus prognozes ir išteklių paskirstymą. Pavyzdžiui, neteisingai priskyrus sergantį pasėlį sveikam, gali kilti nekontroliuojami kenkėjų protrūkiai, nuniokojantys ištisus laukus.

Realaus laiko taikymams ateityje būtų galima ištirti modelių glaudinimo metodus, tokius kaip perteklinių neuronų genėjimas arba svorių kvantavimas (sumažinant skaitmeninį tikslumą), siekiant sutrumpinti vykdymo laiką neprarandant našumo. Genėjimas pašalina mažiau svarbias jungtis iš neuroninio tinklo, panašiai kaip medžio šakų genėjimas siekiant pagerinti jo formą, o kvantavimas supaprastina skaitmeninius skaičiavimus, pagreitindamas apdorojimą.

Hiperspektrinio pasėlių klasifikavimo ateitis naudojant CMTNet

Nepaisant sėkmės, CMTNet susiduria su apribojimais. Našumas šiek tiek suprastėja stipriai šešėliuotose srityse, kaip matyti WHU-Hi-HanChuan duomenų rinkinyje (97.29% OA ir 99.58% gerai apšviestoje LongKou planetoje). Šešėliai apsunkina klasifikavimą, nes sumažina atspindėtos šviesos intensyvumą, pakeisdami spektrinius profilius.

Be to, klasės su itin mažais mokomaisiais pavyzdžiais, pavyzdžiui, siauralapės sojos pupelės (20 pavyzdžių), atsilieka nuo tų, kurių duomenų gausu. Mažas imčių dydis riboja modelio gebėjimą išmokti įvairius variantus, pavyzdžiui, lapų formos skirtumus dėl dirvožemio kokybės.

Būsimuose tyrimuose būtų galima integruoti multimodalinius duomenis, tokius kaip LiDAR aukščio žemėlapiai arba terminis vaizdavimas, siekiant pagerinti atsparumą šešėliams ir užtemimams. LiDAR (šviesos aptikimas ir diapazono nustatymas) naudoja lazerio impulsus 3D reljefo modeliams kurti, kurie, analizuojant aukščio skirtumus, galėtų padėti atskirti pasėlius nuo šešėlių.

Be to, terminis vaizdavimas fiksuoja šilumos parašus, suteikdamas papildomų užuominų apie augalų sveikatą – stresą patiriantys augalai dažnai turi aukštesnę lajų temperatūrą dėl sumažėjusios transpiracijos. Pusiau prižiūrimo mokymosi metodai, kurie naudoja nepažymėtus duomenis (pvz., bepiločių orlaivių vaizdus be rankinių anotacijų), taip pat gali pagerinti retų augalų rūšių našumą.

Naudodami nuoseklumo reguliavimą – apmokydami modelį gauti stabilias prognozes šiek tiek pakeistose to paties vaizdo versijose – tyrėjai gali panaudoti nepažymėtus duomenis, kad pagerintų apibendrinimą.

Galiausiai, CMTNet diegimas periferiniuose įrenginiuose, tokiuose kaip dronai su integruotais GPU, galėtų sudaryti sąlygas stebėti realiuoju laiku nuotoliniuose laukuose. Diegimas periferiniuose įrenginiuose sumažina priklausomybę nuo debesų kompiuterijos, sumažindamas delsą ir duomenų perdavimo išlaidas. Tačiau tam reikia optimizuoti modelį, atsižvelgiant į ribotą atmintį ir apdorojimo galią, galbūt naudojant lengvas architektūras, tokias kaip “MobileNet” arba žinių distiliavimą, kai mažesnis “studento” modelis imituoja didesnį „mokytojo“ modelį.

Išvada

CMTNet yra reikšmingas žingsnis į priekį hiperspektrinio augalų klasifikavimo srityje. Suderinus CNN ir Transformers, jis sprendžia ilgalaikius objektų išskyrimo ir suliejimo iššūkius, suteikdamas ūkininkams ir agronomams galingą tiksliosios žemdirbystės įrankį.

Taikymo sritys apima nuo ligų aptikimo realiuoju laiku iki drėkinimo grafikų optimizavimo – visa tai yra labai svarbu tvariam ūkininkavimui klimato kaitos ir gyventojų skaičiaus augimo metu. Kadangi bepiločių orlaivių technologijos tampa vis labiau prieinamos, tokie modeliai kaip CMTNet atliks lemiamą vaidmenį užtikrinant pasaulinį aprūpinimą maistu.

Būsimi patobulinimai, tokie kaip lengvesnės architektūros ir multimodalinė duomenų sintezė, galėtų dar labiau padidinti jų praktiškumą. Nuolat diegiant inovacijas, CMTNet galėtų tapti išmaniųjų ūkininkavimo sistemų visame pasaulyje kertiniu akmeniu, užtikrinančiu efektyvų žemės naudojimą ir atsparią maisto gamybą ateities kartoms.

Nuoroda: Guo, X., Feng, Q. ir Guo, F. CMTNet: hibridinis CNN transformatorių tinklas, skirtas bepiločių orlaivių (UAV) pagrįstam hiperspektriniam pasėlių klasifikavimui tiksliojoje žemdirbystėje. Sci Rep 15, 12383 (2025). https://doi.org/10.1038/s41598-025-97052-w