CMTNet no jauna definē precīzo lauksaimniecību, pārspējot tradicionālo kultūraugu klasifikāciju

Precīza kultūraugu klasifikācija ir būtiska mūsdienu precīzajai lauksaimniecībai, kas ļauj lauksaimniekiem uzraudzīt kultūraugu veselību, prognozēt ražu un efektīvi sadalīt resursus. Tomēr tradicionālās metodes bieži vien cīnās ar lauksaimniecības vides sarežģītību, kur kultūraugi ievērojami atšķiras pēc veida, augšanas stadijām un spektrālajām iezīmēm.

Kas ir hiperspektrālā attēlveidošana un CMTNet ietvars?

Hiperspektrālā attēlveidošana (HSI) — tehnoloģija, kas uztver datus simtiem šauru, nepārtrauktu viļņu garuma joslu, — ir kļuvusi par revolucionāru tehnoloģiju šajā jomā. Atšķirībā no standarta RGB kamerām vai multispektrālajiem sensoriem, kas apkopo datus dažās platās joslās, HSI nodrošina detalizētu “spektrālo pirkstu nospiedumu” katram pikselim.

Piemēram, veselīga veģetācija hlorofila aktivitātes dēļ spēcīgi atstaro tuvā infrasarkanā starojuma gaismu, savukārt stresa skartām kultūrām ir atšķirīgi absorbcijas modeļi. Reģistrējot šīs smalkās variācijas (no 400 līdz 1000 nanometriem) ar augstu telpisko izšķirtspēju (pat 0,043 metri), HSI ļauj precīzi diferencēt kultūraugu sugas, noteikt slimības un veikt augsnes analīzi.

Neskatoties uz šīm priekšrocībām, esošajām metodēm ir grūti līdzsvarot lokālas detaļas, piemēram, lapu tekstūru vai augsnes modeļus, ar globāliem modeļiem, piemēram, liela mēroga kultūraugu izplatību. Šis ierobežojums kļūst īpaši acīmredzams trokšņainos vai nelīdzsvarotos datu kopumos, kur nelielas spektrālās atšķirības starp kultūraugiem var izraisīt nepareizu klasifikāciju.

Lai risinātu šīs problēmas, pētnieki izstrādāja CMTNet (Convolutional Meets Transformer Network — konvolucionālais tīkls satiek transformatoru tīklu) — jauns dziļās mācīšanās ietvars, kas apvieno konvolucionālo neironu tīklu (CNN) un transformatoru stiprās puses. CNN ir neironu tīklu klase, kas paredzēta režģveida datu, piemēram, attēlu, apstrādei, izmantojot filtru slāņus, kas nosaka telpiskās hierarhijas (piemēram, malas, tekstūras).

Transformatori, kas sākotnēji tika izstrādāti dabiskās valodas apstrādei, izmanto pašnovērošanas mehānismus, lai modelētu datu tāla darbības rādiusa atkarības, padarot tos prasmīgus globālu modeļu tveršanā. Atšķirībā no iepriekšējiem modeļiem, kas secīgi apstrādā lokālās un globālās pazīmes, CMTNet izmanto paralēlu arhitektūru, lai vienlaikus iegūtu abu veidu informāciju.

Šī pieeja ir izrādījusies ļoti efektīva, sasniedzot visaugstāko precizitāti trīs galvenajos bezpilota lidaparātu (UAV) HSI datu kopās. Piemēram, WHU-Hi-LongKou datu kopā CMTNet sasniedza kopējo precizitāti (OA) 99,58%, pārspējot iepriekšējo labāko modeli par 0,19%.

Tradicionālās hiperspektrālās attēlveidošanas izaicinājumi lauksaimniecības klasifikācijā

Agrīnās hiperspektrālo datu analīzes metodes bieži koncentrējās uz spektrālajām vai telpiskajām iezīmēm, kā rezultātā rezultāti bija nepilnīgi. Spektrālās metodes, piemēram, galveno komponentu analīze (PCA), samazināja datu sarežģītību, koncentrējoties uz viļņa garuma informāciju, bet ignorēja telpiskās attiecības starp pikseļiem.

Piemēram, PCA pārveido daudzdimensionālus spektrālos datus mazākā skaitā komponentu, kas izskaidro vislielāko dispersiju, vienkāršojot analīzi. Tomēr šī pieeja atmet telpisko kontekstu, piemēram, kultūraugu izvietojumu laukā. Turpretī telpiskās metodes, piemēram, matemātiskie morfoloģijas operatori, izcēla kultūraugu fiziskā izvietojuma modeļus, bet ignorēja kritiskas spektrālās detaļas.

Matemātiskā morfoloģija izmanto tādas darbības kā dilatācija un erozija, lai no attēliem iegūtu formas un struktūras, piemēram, robežas starp laukiem. Laika gaitā konvolucionālie neironu tīkli (CNN) uzlaboja klasifikāciju, apstrādājot abu veidu datus.

Tomēr to fiksētie uztveres lauki — attēla laukums, ko tīkls var "redzēt" vienlaikus — ierobežoja to spēju uztvert tālas darbības atkarības. Piemēram, 3D-CNN varētu būt grūti atšķirt divas sojas pupiņu šķirnes ar līdzīgiem spektrālajiem profiliem, bet atšķirīgiem augšanas modeļiem lielā laukā.

Transformatori — neironu tīkla veids, kas sākotnēji tika izstrādāts dabiskās valodas apstrādei, piedāvāja risinājumu šai problēmai. Izmantojot pašnovērsības mehānismus, Transformatori izceļas ar globālu attiecību modelēšanu datos. Pašnovērsība ļauj modelim izvērtēt dažādu ievades secības daļu nozīmi, ļaujot tam koncentrēties uz atbilstošiem reģioniem (piemēram, slimu augu kopu), vienlaikus ignorējot troksni (piemēram, mākoņu ēnas).

Tomēr tie bieži vien nepamana sīkgraudainas lokālas detaļas, piemēram, lapu malas vai augsnes plaisas. Hibrīdie modeļi, piemēram, CTMixer, mēģināja apvienot CNN un Transformer, bet darīja to secīgi, vispirms apstrādājot lokālās pazīmes un vēlāk globālās pazīmes. Šī pieeja noveda pie neefektīvas informācijas sapludināšanas un neoptimālas veiktspējas sarežģītās lauksaimniecības vidēs.

Kā darbojas CMTNet: lokālo un globālo funkciju savienošana

CMTNet pārvar šos ierobežojumus, izmantojot unikālu trīsdaļīgu arhitektūru, kas paredzēta spektrāli telpisko, lokālo un globālo elementu efektīvai iegūšanai un apvienošanai.

1. Pirmā sastāvdaļa, spektrāli telpisko pazīmju ieguves modulis, apstrādā neapstrādātus HSI datus, izmantojot 3D un 2D konvolucionālos slāņus.

3D konvolucionālie slāņi vienlaikus analizē gan telpisko (augstums × platums), gan spektrālo (viļņa garums) dimensiju, tverot tādus modeļus kā noteiktu viļņu garumu atstarošanos pāri kultūraugu vainagam. Piemēram, 3D grauds varētu noteikt, ka veselīga kukurūza augšējās lapās atstaro vairāk tuvā infrasarkanā starojuma salīdzinājumā ar apakšējām lapām.

Pēc tam 2D slāņi precizē šīs iezīmes, koncentrējoties uz telpiskām detaļām, piemēram, augu izvietojumu laukā. Šis divpakāpju process nodrošina gan spektrālās daudzveidības (piemēram, hlorofila satura), gan telpiskā konteksta (piemēram, rindu atstarpes) saglabāšanu.

2. Otrā sastāvdaļa, lokāli globāls pazīmju ieguves modulis, darbojas paralēli. Viena atzara izmanto CNN, lai koncentrētos uz lokālām detaļām, piemēram, atsevišķu lapu tekstūru vai augsnes plankumu formu. Šīs pazīmes ir kritiski svarīgas, lai identificētu sugas ar līdzīgiem spektrālajiem profiliem, piemēram, dažādas sojas pupiņu šķirnes.

Otra nozare izmanto Transformerus, lai modelētu globālas attiecības, piemēram, kā kultūraugi ir sadalīti plašās platībās vai kā tuvumā esošo koku ēnas ietekmē spektrālos rādījumus. Apstrādājot šīs pazīmes vienlaicīgi, nevis secīgi, CMTNet novērš informācijas zudumu, kas nomoka agrākos hibrīdmodeļus.

Piemēram, kamēr CNN atzars identificē kokvilnas lapu robainās malas, Transformer atzars atpazīst, ka šīs lapas ir daļa no lielāka kokvilnas lauka, ko ierobežo sezama augi.

3. Trešā sastāvdaļa, vairāku izvadu ierobežojumu modulis, nodrošina līdzsvarotu mācīšanos lokālajās, globālajās un apvienotajās funkcijās. Apmācības laikā katram funkciju veidam tiek piemērotas atsevišķas zaudējumu funkcijas, piespiežot tīklu precizēt visus savas izpratnes aspektus.

Zaudējumu funkcija kvantificē starpību starp prognozētajām un faktiskajām vērtībām, vadot modeļa korekcijas. Piemēram, lokālo pazīmju zudums var sodīt modeli par lapu malu nepareizu klasificēšanu, savukārt globālie zudumi labo kļūdas liela mēroga kultūraugu izplatībā.

Šie zudumi tiek apvienoti, izmantojot svarus, kas optimizēti ar nejaušas meklēšanas palīdzību — metodi, kas pārbauda dažādas svaru kombinācijas, lai maksimāli palielinātu precizitāti. Šis process rada stabilu un pielāgojamu modeli, kas spēj apstrādāt dažādus lauksaimniecības scenārijus.

CMTNet veiktspējas novērtēšana bezpilota lidaparātu hiperspektrālos datu kopumos

Lai novērtētu CMTNet, pētnieki to testēja ar trim bezpilota lidaparātu (UAV) iegūtiem hiperspektrālajiem datu kopumiem no Uhaņas Universitātes. Šie datu kopumi tiek plaši izmantoti tālizpētes etaloni to augstās kvalitātes un daudzveidības dēļ:

1. WHU-Hi-LongKouŠis datu kopums aptver 550 × 400 pikseļus ar 270 spektrālajām joslām un telpisko izšķirtspēju 0,463 metri. Telpiskā izšķirtspēja 0,463 metri nozīmē, ka katrs pikselis attēlo 0,463 m × 0,463 m lielu platību uz zemes, kas ļauj identificēt atsevišķus augus. Tajā ir iekļauti deviņi kultūraugu veidi, piemēram, kukurūza, kokvilna un rīsi, ar 1019 apmācības paraugiem un 203 523 testa paraugiem.
2. WHU-Hi-HanchuanŠajā datu kopā, kas uztver 1217 × 303 pikseļus ar 0,109 metru izšķirtspēju, ir iekļauti 16 zemes seguma veidi, tostarp zemenes, sojas pupas un plastmasas plēves. Augstāka izšķirtspēja (0,109 m) nodrošina sīkāku informāciju, piemēram, atšķirību starp jauniem un nobriedušiem sojas pupiņu augiem. Apmācības un testa paraugu kopsumma bija attiecīgi 1289 un 256 241.
3. WHU-Hi-HongHuAr 940 × 475 pikseļiem un 270 joslām šis augstas izšķirtspējas (0,043 metri) datu kopums ietver 22 klases, piemēram, kokvilnas, rapša un ķiploku asnus. Ar 0,043 m izšķirtspēju ir redzamas atsevišķas lapas un augsnes plaisas, padarot to ideāli piemērotu smalkgraudainai klasifikācijai. Tas satur 1925 apmācības paraugus un 384 678 testa paraugus.

Modelis tika apmācīts NVIDIA TITAN Xp GPU, izmantojot PyTorch, ar mācīšanās ātrumu 0,001 un partijas lielumu 100. Mācīšanās ātrums nosaka, cik lielā mērā modelis pielāgo savus parametrus apmācības laikā — ja tas ir pārāk augsts, tas var pārsniegt optimālās vērtības; ja tas ir pārāk zems, apmācība kļūst lēna.

Katrs eksperiments tika atkārtots desmit reizes, lai nodrošinātu uzticamību, un ievades ielāpi — nelieli pilna attēla segmenti — tika optimizēti līdz 13 × 13 pikseļiem, izmantojot režģa meklēšanu — metodi, kas pārbauda dažādus ielāpu izmērus, lai atrastu visefektīvākos.

CMTNet sasniedz vismodernāko precizitāti kultūraugu klasifikācijā

CMTNet sasniedza ievērojamus rezultātus visās datu kopās, pārspējot esošās metodes gan kopējās precizitātes (OA), gan klases specifiskās veiktspējas ziņā. OA mēra pareizi klasificēto pikseļu procentuālo daudzumu visās klasēs, savukārt vidējā precizitāte (AA) aprēķina vidējo precizitāti katrā klasē, novēršot nelīdzsvarotību.

WHU-Hi-LongKou datu kopā CMTNet sasniedza OA 99,58%, pārspējot CTMixer par 0,19%. Sarežģītām klasēm ar ierobežotiem apmācības datiem, piemēram, kokvilnai (41 paraugs), CMTNet joprojām sasniedza 99,53% precizitāti. Līdzīgi WHU-Hi-HanChuan datu kopā tas uzlaboja arbūza (22 paraugs) precizitāti no 82,42% līdz 96,11%, demonstrējot spēju apstrādāt nelīdzsvarotus datus, izmantojot efektīvu iezīmju sapludināšanu.

Klasifikācijas karšu vizuālā salīdzināšana atklāja mazāk fragmentētu plankumu un vienmērīgākas robežas starp laukiem, salīdzinot ar tādiem modeļiem kā 3D-CNN un Vision Transformer (ViT). Piemēram, ēnām pakļautajā WHU-Hi-HanChuan datu kopā CMTNet samazināja kļūdas, ko izraisīja zems saules leņķis, savukārt ResNet kļūdaini klasificēja sojas pupiņas kā pelēkus jumtus.

Ēnas rada unikālu izaicinājumu, jo tās maina spektrālos raksturlielumus — ēnā esošs sojas pupiņu augs var atstarot mazāk tuvās infrasarkanās gaismas, atgādinot neveģetāciju. Izmantojot globālo kontekstu, CMTNet atzina, ka šie ēnainie augi ir daļa no lielāka sojas pupiņu lauka, tādējādi samazinot kļūdas.

WHU-Hi-HongHu datu kopā modelis izcēlās, atšķirot spektrāli līdzīgas kultūras, piemēram, dažādas krustziežu dzimtas augu šķirnes, sasniedzot 96,54% precizitāti. Brassica parachinensis.

Ablācijas pētījumi — eksperimenti, kuros komponenti tiek noņemti, lai novērtētu to ietekmi — apstiprināja katra moduļa nozīmi. Pievienojot tikai vairāku izvades ierobežojumu moduli, OA palielinājās par 1,52% WHU-Hi-HongHu, uzsverot tā lomu iezīmju sapludināšanas uzlabošanā. Bez šī moduļa lokālās un globālās pazīmes tika apvienotas haotiski, kā rezultātā radās nekonsekventas klasifikācijas.

Skaitļošanas kompromisi un praktiski apsvērumi

Lai gan CMTNet precizitāte ir nepārspējama, tā skaitļošanas izmaksas ir augstākas nekā tradicionālajām metodēm. Apmācība ar WHU-Hi-HongHu datu kopu aizņēma 1885 sekundes, salīdzinot ar 74 sekundēm Random Forest (RF) — mašīnmācīšanās algoritmam, kas apmācības laikā veido lēmumu kokus.

Tomēr šis kompromiss ir pamatots precīzajā lauksaimniecībā, kur precizitāte tieši ietekmē ražas prognozes un resursu sadali. Piemēram, slimas kultūras nepareiza klasificēšana kā veselīga var izraisīt nekontrolētus kaitēkļu uzliesmojumus, iznīcinot veselus laukus.

Reāllaika lietojumprogrammām turpmākajā darbā varētu izpētīt modeļu saspiešanas metodes, piemēram, lieko neironu apgriešanu vai svaru kvantēšanu (samazinot skaitlisko precizitāti), lai samazinātu izpildes laiku, nezaudējot veiktspēju. Apgriešana noņem no neironu tīkla mazāk svarīgus savienojumus, līdzīgi kā zaru apgriešana no koka, lai uzlabotu tā formu, savukārt kvantēšana vienkāršo skaitliskos aprēķinus, paātrinot apstrādi.

Hiperspektrālās kultūraugu klasifikācijas nākotne ar CMTNet

Neskatoties uz panākumiem, CMTNet saskaras ar ierobežojumiem. Veiktspēja nedaudz pasliktinās stipri ēnotos apgabalos, kā redzams WHU-Hi-HanChuan datu kopā (97.29% OA pret 99.58% labi apgaismotā LongKou). Ēnas sarežģī klasifikāciju, jo tās samazina atstarotās gaismas intensitāti, mainot spektra profilus.

Turklāt klases ar ārkārtīgi maziem apmācības paraugiem, piemēram, šaurlapu sojas pupiņas (20 paraugi), atpaliek no tām, kurām ir daudz datu. Mazs paraugu lielums ierobežo modeļa spēju apgūt dažādas variācijas, piemēram, lapu formas atšķirības augsnes kvalitātes dēļ.

Turpmākajos pētījumos varētu integrēt multimodālus datus, piemēram, LiDAR augstuma kartes vai termisko attēlveidošanu, lai uzlabotu noturību pret ēnām un aizsegumiem. LiDAR (gaismas noteikšana un diapazona noteikšana) izmanto lāzera impulsus, lai izveidotu 3D reljefa modeļus, kas varētu palīdzēt atšķirt kultūraugus no ēnām, analizējot augstuma atšķirības.

Turklāt termiskā attēlveidošana uztver siltuma signālus, sniedzot papildu norādes par augu veselību — stresa skartām kultūrām bieži ir augstāka lapotnes temperatūra samazinātas transpirācijas dēļ. Daļēji uzraudzītas mācīšanās metodes, kas izmanto nemarķētus datus (piemēram, bezpilota lidaparātu attēlus bez manuālām anotācijām), varētu arī uzlabot retu kultūraugu veidu veiktspēju.

Izmantojot konsekvences regularizāciju — apmācot modeli, lai iegūtu stabilas prognozes nedaudz mainītās viena un tā paša attēla versijās —, pētnieki var izmantot nemarķētus datus, lai uzlabotu vispārināšanu.

Visbeidzot, CMTNet izvietošana perifērijas ierīcēs, piemēram, dronos, kas aprīkoti ar iebūvētiem grafiskajiem procesoriem, varētu nodrošināt reāllaika uzraudzību attālos apstākļos. Perifērijas izvietošana samazina atkarību no mākoņdatošanas, samazinot latentumu un datu pārraides izmaksas. Tomēr tas prasa modeļa optimizāciju ierobežotai atmiņai un apstrādes jaudai, iespējams, izmantojot vieglas arhitektūras, piemēram, MobileNet vai zināšanu destilāciju, kur mazāks “studenta” modelis atdarina lielāku “skolotāja” modeli.

Secinājums

CMTNet ir ievērojams solis uz priekšu hiperspektrālo kultūraugu klasifikācijā. Saskaņojot CNN un Transformerus, tas risina ilgstošas problēmas iezīmju iegūšanā un sapludināšanā, piedāvājot lauksaimniekiem un agronomiem jaudīgu instrumentu precīzajai lauksaimniecībai.

Pielietojumi aptver visu, sākot no slimību atklāšanas reāllaikā līdz apūdeņošanas grafiku optimizēšanai, un tas viss ir ļoti svarīgi ilgtspējīgai lauksaimniecībai klimata pārmaiņu un iedzīvotāju skaita pieauguma apstākļos. Tā kā bezpilota lidaparātu tehnoloģija kļūst pieejamāka, tādiem modeļiem kā CMTNet būs izšķiroša loma globālajā pārtikas nodrošinājumā.

Nākotnes sasniegumi, piemēram, vieglākas arhitektūras un multimodāla datu sapludināšana, varētu vēl vairāk uzlabot to praktiskumu. Ar pastāvīgu inovāciju CMTNet varētu kļūt par viedās lauksaimniecības sistēmu stūrakmeni visā pasaulē, nodrošinot efektīvu zemes izmantošanu un noturīgu pārtikas ražošanu nākamajām paaudzēm.

Atsauce: Guo, X., Feng, Q. un Guo, F. CMTNet: hibrīds CNN transformatoru tīkls bezpilota lidaparātu (UAV) hiperspektrālai kultūraugu klasifikācijai precīzajā lauksaimniecībā. Sci Rep 15, 12383 (2025). https://doi.org/10.1038/s41598-025-97052-w