CMTNet omdefinierar precisionsjordbruk genom att överträffa traditionell grödklassificering

Noggrann klassificering av grödor är avgörande för modernt precisionsjordbruk, vilket gör det möjligt för jordbrukare att övervaka grödors hälsa, förutsäga avkastning och fördela resurser effektivt. Traditionella metoder kämpar dock ofta med komplexiteten i jordbruksmiljöer, där grödor varierar kraftigt i typ, tillväxtstadier och spektrala signaturer.

Vad är hyperspektral avbildning och CMTNet Framework?

Hyperspektral avbildning (HSI), en teknik som samlar in data över hundratals smala, sammanhängande våglängdsband, har blivit banbrytande inom detta område. Till skillnad från vanliga RGB-kameror eller multispektrala sensorer, som samlar in data i ett fåtal breda band, ger HSI ett detaljerat "spektralfingeravtryck" för varje pixel.

Till exempel reflekterar frisk vegetation starkt nära-infrarött ljus på grund av klorofyllaktivitet, medan stressade grödor uppvisar tydliga absorptionsmönster. Genom att registrera dessa subtila variationer (från 400 till 1 000 nanometer) med hög rumslig upplösning (så fin som 0,043 meter) möjliggör HSI exakt differentiering av grödarter, sjukdomsdetektering och jordmånsanalys.

Trots dessa fördelar står befintliga tekniker inför utmaningar när det gäller att balansera lokala detaljer, som bladstruktur eller jordmönster, med globala mönster, såsom storskalig grödfördelning. Denna begränsning blir särskilt tydlig i brusiga eller obalanserade datamängder, där subtila spektrala skillnader mellan grödor kan leda till felklassificeringar.

För att hantera dessa utmaningar utvecklade forskare CMTNet (Convolutional Meets Transformer Network), ett nytt ramverk för djupinlärning som kombinerar styrkorna hos faltningsneurala nätverk (CNN) och Transformers. CNN är en klass av neurala nätverk utformade för att bearbeta rutnätsliknande data, såsom bilder, med hjälp av filterlager som upptäcker rumsliga hierarkier (t.ex. kanter, texturer).

Transformatorer, ursprungligen utvecklade för naturlig språkbehandling, använder självuppmärksamhetmekanismer för att modellera långsiktiga beroenden i data, vilket gör dem skickliga på att fånga globala mönster. Till skillnad från tidigare modeller som bearbetar lokala och globala funktioner sekventiellt använder CMTNet en parallell arkitektur för att extrahera båda typerna av information samtidigt.

Denna metod har visat sig vara mycket effektiv och uppnått toppmodern noggrannhet på tre stora UAV-baserade HSI-dataset. Till exempel, på WHU-Hi-LongKou-datasetet, nådde CMTNet en total noggrannhet (OA) på 99,58%, vilket överträffade den tidigare bästa modellen med 0,19%.

Utmaningar med traditionell hyperspektral avbildning inom jordbruksklassificering

Tidiga metoder för att analysera hyperspektral data fokuserade ofta på antingen spektrala eller rumsliga egenskaper, vilket ledde till ofullständiga resultat. Spektrala tekniker, såsom principal component analysis (PCA), minskade datas komplexitet genom att fokusera på våglängdsinformation men ignorerade rumsliga relationer mellan pixlar.

PCA, till exempel, omvandlar högdimensionella spektraldata till färre komponenter som förklarar mest varians, vilket förenklar analysen. Denna metod ignorerar dock rumsligt sammanhang, såsom arrangemanget av grödor på ett fält. Omvänt lyfte rumsliga metoder, som matematiska morfologioperatorer, fram mönster i grödornas fysiska utformning men förbisedde kritiska spektrala detaljer.

Matematisk morfologi använder operationer som dilatation och erosion för att extrahera former och strukturer från bilder, såsom gränserna mellan fält. Med tiden förbättrade faltningsneurala nätverk (CNN) klassificeringen genom att bearbeta båda typerna av data.

Deras fasta receptiva fält – den del av en bild som ett nätverk kan "se" på en gång – begränsade dock deras förmåga att fånga långsiktiga beroenden. Till exempel kan ett 3D-CNN ha svårt att skilja mellan två sojabönsorter med liknande spektralprofiler men olika tillväxtmönster över ett stort fält.

Transformers, en typ av neuralt nätverk som ursprungligen utformades för naturlig språkbehandling, erbjöd en lösning på detta problem. Genom att använda självuppmärksamhetmekanismer utmärker sig Transformers på att modellera globala relationer i data. Självuppmärksamhet gör det möjligt för modellen att väga vikten av olika delar av en inmatningssekvens, vilket gör att den kan fokusera på relevanta regioner (t.ex. ett kluster av sjuka växter) samtidigt som brus (t.ex. molnskuggor) ignoreras.

Ändå missar de ofta finkorniga lokala detaljer, såsom lövkanter eller jordsprickor. Hybridmodeller som CTMixer försökte kombinera CNN och Transformers men gjorde det sekventiellt, och bearbetade lokala funktioner först och globala funktioner senare. Denna metod ledde till ineffektiv sammanslagning av information och suboptimal prestanda i komplexa jordbruksmiljöer.

Hur CMTNet fungerar: Överbrygga lokala och globala funktioner

CMTNet övervinner dessa begränsningar genom en unik tredelad arkitektur utformad för att effektivt extrahera och sammanfoga spektral-rumsliga, lokala och globala funktioner.

1. Den första komponenten, den modul för extraktion av spektral-rumsliga funktioner, bearbetar rådata i HSI med hjälp av 3D- och 2D-faltningslager.

3D-faltningsskikten analyserar både rumsliga (höjd × bredd) och spektrala (våglängds) dimensioner samtidigt och fångar mönster som reflektansen av specifika våglängder över en grödas tak. Till exempel kan en 3D-kärna upptäcka att frisk majs reflekterar mer nära-infrarött ljus i sina övre blad jämfört med de nedre.

2D-lagren förfinar sedan dessa egenskaper och fokuserar på rumsliga detaljer som växternas arrangemang i ett fält. Denna tvåstegsprocess säkerställer att både spektral mångfald (t.ex. klorofyllinnehåll) och rumsligt sammanhang (t.ex. radavstånd) bevaras.

2. Den andra komponenten, den lokal-global funktionsutvinningsmodul, fungerar parallellt. En gren använder CNN för att fokusera på lokala detaljer, såsom texturen på enskilda blad eller formen på jordfläckar. Dessa egenskaper är avgörande för att identifiera arter med liknande spektralprofiler, såsom olika sojabönsorter.

Den andra grenen använder Transformers för att modellera globala samband, såsom hur grödor fördelas över stora områden eller hur skuggor från närliggande träd påverkar spektralvärden. Genom att bearbeta dessa funktioner samtidigt snarare än sekventiellt undviker CMTNet den informationsförlust som plågar tidigare hybridmodeller.

Till exempel, medan CNN-grenen identifierar de taggiga kanterna på bomullsblad, inser Transformer-grenen att dessa blad är en del av ett större bomullsfält som gränsar till sesamplantor.

3. Den tredje komponenten, den begränsningsmodul med flera utgångar, säkerställer balanserad inlärning över lokala, globala och sammanslagna funktioner. Under träning tillämpas separata förlustfunktioner på varje typ av funktion, vilket tvingar nätverket att förfina alla aspekter av sin förståelse.

En förlustfunktion kvantifierar skillnaden mellan förutspådda och faktiska värden och vägleder modellens justeringar. Till exempel kan förlusten för lokala egenskaper bestraffa modellen för felklassificering av bladkanter, medan den globala förlusten korrigerar fel i storskalig grödfördelning.

Dessa förluster kombineras med hjälp av vikter som optimerats genom en slumpmässig sökning – en teknik som testar olika viktkombinationer för att maximera noggrannheten. Denna process resulterar i en robust och anpassningsbar modell som kan hantera olika jordbruksscenarier.

Utvärdering av CMTNet-prestanda på hyperspektrala UAV-dataset

För att utvärdera CMTNet testade forskare det på tre hyperspektrala datamängder från Wuhan University, förvärvade med drönare. Dessa datamängder används flitigt som riktmärken inom fjärranalys på grund av deras höga kvalitet och mångfald:

1. WHU-Hej-LongKouDenna datauppsättning täcker 550 × 400 pixlar med 270 spektralband och en spatial upplösning på 0,463 meter. En spatial upplösning på 0,463 meter innebär att varje pixel representerar ett område på 0,463 m × 0,463 m på marken, vilket möjliggör identifiering av enskilda växter. Den inkluderar nio grödor, såsom majs, bomull och ris, med 1 019 träningsprover och 203 523 testprover.
2. WHU-Hej-HanChuanMed en upplösning på 1 217 × 303 pixlar och 0,109 meter visar denna datauppsättning 16 typer av marktäcke, inklusive jordgubbar, sojabönor och plastfolie. Den högre upplösningen (0,109 m) möjliggör finare detaljer, såsom skillnaden mellan unga och mogna sojabönsplantor. Tränings- och testproverna uppgick till totalt 1 289 respektive 256 241.
3. WHU-Hej-HongHuMed 940 × 475 pixlar och 270 band innehåller denna högupplösta (0,043 meter) datauppsättning 22 klasser, såsom bomulls-, raps- och vitlöksskott. Vid 0,043 m upplösning är enskilda blad och jordsprickor synliga, vilket gör den idealisk för finkornig klassificering. Den innehåller 1 925 träningsprover och 384 678 testprover.

Modellen tränades på NVIDIA TITAN Xp GPU:er med PyTorch, med en inlärningshastighet på 0,001 och en batchstorlek på 100. En inlärningshastighet avgör hur mycket modellen justerar sina parametrar under träningen – för hög kan den överskrida optimala värden; för låg blir träningen trög.

Varje experiment upprepades tio gånger för att säkerställa tillförlitlighet, och inmatningsfläckar – små segment av hela bilden – optimerades till 13 × 13 pixlar genom rutnätssökning, en metod som testar olika patchstorlekar för att hitta den mest effektiva.

CMTNet uppnår toppmodern noggrannhet i klassificering av grödor

CMTNet uppnådde anmärkningsvärda resultat över alla datamängder och överträffade befintliga metoder både vad gäller total noggrannhet (OA) och klassspecifik prestanda. OA mäter andelen korrekt klassificerade pixlar över alla klasser, medan genomsnittlig noggrannhet (AA) beräknar den genomsnittliga noggrannheten per klass och åtgärdar obalanser.

På WHU-Hi-LongKou-datasetet uppnådde CMTNet en OA på 99,58%, vilket överträffade CTMixer med 0,19%. För utmanande klasser med begränsad träningsdata, såsom bomull (41 prover), nådde CMTNet fortfarande en noggrannhet på 99,53%. På liknande sätt förbättrade WHU-Hi-HanChuan-datasetet noggrannheten för vattenmelon (22 prover) från 82,42% till 96,11%, vilket demonstrerar dess förmåga att hantera obalanserade data genom effektiv funktionsfusion.

Visuella jämförelser av klassificeringskartor avslöjade färre fragmenterade fläckar och jämnare gränser mellan fält jämfört med modeller som 3D-CNN och Vision Transformer (ViT). Till exempel, i den skuggbenägna WHU-Hi-HanChuan-datauppsättningen minimerade CMTNet fel orsakade av låga solvinklar, medan ResNet felklassificerade sojabönor som gråa tak.

Skuggor utgör en unik utmaning eftersom de förändrar spektrala signaturer – en sojabönsplanta i skugga kan reflektera mindre nära-infrarött ljus, vilket liknar icke-vegetation. Genom att utnyttja det globala sammanhanget insåg CMTNet att dessa skuggade växter var en del av ett större sojabönsfält, vilket minskade fel.

På WHU-Hi-HongHu-datasetet utmärkte sig modellen i att särskilja spektralt liknande grödor, såsom olika kålsorter, och uppnådde en noggrannhet på 96,54% för Brassica parachinensis.

Ablationsstudier – experiment som tar bort komponenter för att bedöma deras inverkan – bekräftade vikten av varje modul. Genom att enbart lägga till multi-output constraint-modulen ökade OA med 1,52% på WHU-Hi-HongHu, vilket belyser dess roll i att förfina funktionsfusionen. Utan denna modul kombinerades lokala och globala funktioner slumpmässigt, vilket ledde till inkonsekventa klassificeringar.

Beräkningsmässiga avvägningar och praktiska överväganden

Medan CMTNets noggrannhet är oöverträffad, är dess beräkningskostnad högre än traditionella metoders. Träning på WHU-Hi-HongHu-datasetet tog 1 885 sekunder, jämfört med 74 sekunder för Random Forest (RF), en maskininlärningsalgoritm som bygger beslutsträd under träning.

Denna avvägning är dock berättigad inom precisionsjordbruk, där noggrannhet direkt påverkar avkastningsprognoser och resursallokering. Till exempel kan felklassificering av en sjuk gröda som frisk leda till okontrollerade skadedjursutbrott, vilket ödelägger hela fält.

För realtidsapplikationer skulle framtida arbete kunna utforska modellkomprimeringstekniker, såsom att beskära redundanta neuroner eller kvantisera vikter (vilket minskar numerisk precision), för att minska körtiden utan att offra prestanda. Beskärning tar bort mindre viktiga kopplingar från det neurala nätverket, ungefär som att trimma grenar från ett träd för att förbättra dess form, medan kvantisering förenklar numeriska beräkningar och påskyndar bearbetningen.

Framtiden för hyperspektral grödklassificering med CMTNet

Trots sin framgång har CMTNet begränsningar. Prestandan sjunker något i starkt skuggade områden, vilket framgår av WHU-Hi-HanChuan-datasetet (97.29% OA vs. 99.58% i väl upplysta LongKou). Skuggor komplicerar klassificeringen eftersom de minskar intensiteten hos det reflekterade ljuset och förändrar spektralprofiler.

Dessutom halkar klasser med extremt små träningsurval, som smalbladiga sojabönor (20 prover), efter de med rikligt med data. Små urvalsstorlekar begränsar modellens förmåga att lära sig olika variationer, såsom skillnader i bladform på grund av jordkvalitet.

Framtida forskning skulle kunna integrera multimodala data, såsom LiDAR-höjdkartor eller värmebilder, för att förbättra motståndskraften mot skuggor och ocklusioner. LiDAR (Light Detection and Ranging) använder laserpulser för att skapa 3D-terrängmodeller, vilket kan hjälpa till att skilja grödor från skuggor genom att analysera höjdskillnader.

Dessutom fångar värmebilder värmesignaturer, vilket ger ytterligare ledtrådar om växternas hälsa – stressade grödor har ofta högre temperaturer i trädkronorna på grund av minskad transpiration. Semiövervakade inlärningstekniker, som utnyttjar omärkta data (t.ex. UAV-bilder utan manuella annoteringar), kan också förbättra prestandan för sällsynta grödor.

Genom att använda konsistensregularisering – att träna modellen att producera stabila förutsägelser över något förändrade versioner av samma bild – kan forskare utnyttja omärkta data för att förbättra generaliseringen.

Slutligen skulle implementering av CMTNet på edge-enheter, som drönare utrustade med inbyggda GPU:er, kunna möjliggöra realtidsövervakning i avlägsna fält. Edge-implementering minskar beroendet av molntjänster, vilket minimerar latens och dataöverföringskostnader. Detta kräver dock att modellen optimeras för begränsat minne och processorkraft, potentiellt genom lättviktsarkitekturer som MobileNet eller kunskapsdestillation, där en mindre "student"-modell efterliknar en större "lärar"-modell.

Slutsats

CMTNet representerar ett betydande steg framåt inom hyperspektral grödklassificering. Genom att harmonisera CNN och transformatorer tar det itu med långvariga utmaningar inom extraktion och fusion av egenskaper, vilket ger jordbrukare och agronomer ett kraftfullt verktyg för precisionsjordbruk.

Tillämpningar sträcker sig från sjukdomsdetektering i realtid till optimering av bevattningsscheman, vilka alla är avgörande för hållbart jordbruk mitt i klimatförändringar och befolkningstillväxt. I takt med att UAV-teknik blir mer tillgänglig kommer modeller som CMTNet att spela en avgörande roll i den globala livsmedelssäkerheten.

Framtida framsteg, såsom lättare arkitekturer och multimodal datafusion, skulle kunna förbättra deras praktiska användbarhet ytterligare. Med fortsatt innovation skulle CMTNet kunna bli en hörnsten i smarta jordbrukssystem världen över, vilket säkerställer effektiv markanvändning och motståndskraftig livsmedelsproduktion för kommande generationer.

Hänvisning: Guo, X., Feng, Q. & Guo, F. CMTNet: ett hybrid CNN-transformatornätverk för UAV-baserad hyperspektral grödklassificering inom precisionsjordbruk. Sci Rep 15, 12383 (2025). https://doi.org/10.1038/s41598-025-97052-w