CMTNet редефинише прецизну пољопривреду надмашујући традиционалну класификацију усева

Прецизна класификација усева је неопходна за модерну прецизну пољопривреду, омогућавајући пољопривредницима да прате здравље усева, предвиђају приносе и ефикасно распоређују ресурсе. Међутим, традиционалне методе се често боре са сложеношћу пољопривредних окружења, где се усеви значајно разликују по типу, фазама раста и спектралним потписима.

Шта је хиперспектрално снимање и CMTNet оквир?

Хиперспектрално снимање (HSI), технологија која снима податке преко стотина уских, суседних опсега таласних дужина, појавила се као прекретница у овој области. За разлику од стандардних RGB камера или мултиспектралних сензора, који прикупљају податке у неколико широких опсега, HSI пружа детаљан “спектрални отисак прста” за сваки пиксел.

На пример, здрава вегетација снажно рефлектује светлост блиског инфрацрвеног зрачења због активности хлорофила, док усеви под стресом показују изразите обрасце апсорпције. Снимањем ових суптилних варијација (од 400 до 1.000 нанометара) при високим просторним резолуцијама (до 0,043 метра), HSI омогућава прецизно разликовање врста усева, откривање болести и анализу земљишта.

Упркос овим предностима, постојеће технике се суочавају са изазовима у балансирању локалних детаља, попут текстуре лишћа или образаца земљишта, са глобалним обрасцима, као што је дистрибуција усева великих размера. Ово ограничење постаје посебно очигледно у скуповима података са шумом или неуравнотеженим скуповима података, где суптилне спектралне разлике између усева могу довести до погрешних класификација.

Да би се решили ови изазови, истраживачи су развили CMTNet (Конволуционална и Трансформерска мрежа), нови оквир за дубоко учење који комбинује снаге конволуционих неуронских мрежа (КНМ) и Трансформерских мрежа. КНМ су класа неуронских мрежа дизајнираних за обраду података налик мрежи, као што су слике, користећи слојеве филтера који детектују просторне хијерархије (нпр. ивице, текстуре).

Трансформатори, првобитно развијени за обраду природног језика, користе механизме самопажње за моделирање дугорочних зависности у подацима, што их чини вештим у хватању глобалних образаца. За разлику од ранијих модела који секвенцијално обрађују локалне и глобалне карактеристике, CMTNet користи паралелну архитектуру за истовремено издвајање обе врсте информација.

Овај приступ се показао веома ефикасним, постижући најсавременију тачност на три главна скупа података HSI заснована на беспилотним летелицама. На пример, на скупу података WHU-Hi-LongKou, CMTNet је достигао укупну тачност (OA) од 99,58%, надмашујући претходни најбољи модел за 0,19%.

Изазови традиционалног хиперспектралног снимања у пољопривредној класификацији

Ране методе за анализу хиперспектралних података често су се фокусирале на спектралне или просторне карактеристике, што је довело до непотпуних резултата. Спектралне технике, као што је анализа главних компоненти (PCA), смањиле су сложеност података фокусирајући се на информације о таласној дужини, али су игнорисале просторне односе између пиксела.

На пример, PCA трансформише високодимензионалне спектралне податке у мањи број компоненти које објашњавају највише варијансе, поједностављујући анализу. Међутим, овај приступ одбацује просторни контекст, као што је распоред усева на пољу. Насупрот томе, просторне методе, попут оператора математичке морфологије, истакле су обрасце у физичком распореду усева, али су превиделе критичне спектралне детаље.

Математичка морфологија користи операције попут дилатације и ерозије да би издвојила облике и структуре из слика, као што су границе између поља. Временом су конволуционе неуронске мреже (КНМ) побољшале класификацију обрадом обе врсте података.

Међутим, њихова фиксна рецептивна поља – подручје слике које мрежа може да “види” одједном – ограничавала су њихову способност да ухвате зависности на великим даљинама. На пример, 3D-CNN би могао имати потешкоћа да разликује две сорте соје са сличним спектралним профилима, али различитим обрасцима раста на великом пољу.

Трансформерси, врста неуронске мреже првобитно дизајниране за обраду природног језика, понудила је решење за овај проблем. Коришћењем механизама самопажње, Трансформерси се истичу у моделирању глобалних односа у подацима. Самопажња омогућава моделу да процени важност различитих делова улазне секвенце, омогућавајући му да се фокусира на релевантне регионе (нпр. групу оболелих биљака) док игнорише шум (нпр. сенке облака).

Ипак, често пропуштају ситне локалне детаље, као што су ивице лишћа или пукотине у земљи. Хибридни модели попут CTMixer-а покушали су да комбинују CNN-ове и Transformers-е, али су то чинили секвенцијално, обрађујући прво локалне карактеристике, а касније глобалне. Овај приступ је довео до неефикасног спајања информација и неоптималних перформанси у сложеним пољопривредним окружењима.

Како CMTNet функционише: Премошћавање локалних и глобалних карактеристика

CMTNet превазилази ова ограничења кроз јединствену троделну архитектуру дизајнирану да ефикасно издвоји и споји спектрално-просторне, локалне и глобалне карактеристике.

1. Прва компонента, тј. модул за екстракцију спектрално-просторних карактеристика, обрађује сирове HSI податке користећи 3D и 2D конволуционе слојеве.

3Д конволуциони слојеви анализирају и просторне (висина × ширина) и спектралне (таласна дужина) димензије истовремено, бележећи обрасце попут рефлексије одређених таласних дужина преко крошње усева. На пример, 3Д зрно може да детектује да здрав кукуруз рефлектује више блиске инфрацрвене светлости у својим горњим листовима у поређењу са доњим.

2Д слојеви затим усавршавају ове карактеристике, фокусирајући се на просторне детаље попут распореда биљака у пољу. Овај двостепени процес осигурава очување и спектралне разноликости (нпр. садржаја хлорофила) и просторног контекста (нпр. размака између редова).

2. Друга компонента, тј. модул за екстракцију локалних-глобалних карактеристика, функционише паралелно. Једна грана користи континуиране централне мреже (CNN) да би се фокусирала на локалне детаље, као што су текстура појединачних листова или облик парцела земљишта. Ове карактеристике су кључне за идентификацију врста са сличним спектралним профилима, као што су различите сорте соје.

Друга грана користи трансформаторе за моделирање глобалних односа, као што је начин на који су усеви распоређени по великим површинама или како сенке оближњих дрвећа утичу на спектрална очитавања. Обрађујући ове карактеристике истовремено, а не секвенцијално, CMTNet избегава губитак информација који мучи раније хибридне моделе.

На пример, док грана CNN идентификује назубљене ивице листова памука, грана Transformer препознаје да су ти листови део већег поља памука оивиченог биљкама сусама.

3. Трећа компонента, тј. модул ограничења са више излаза, обезбеђује уравнотежено учење кроз локалне, глобалне и спојене карактеристике. Током обуке, одвојене функције губитака се примењују на сваку врсту карактеристике, приморавајући мрежу да усаврши све аспекте свог разумевања.

Функција губитка квантификује разлику између предвиђених и стварних вредности, водећи прилагођавања модела. На пример, губитак због локалних карактеристика може казнити модел због погрешне класификације ивица листова, док глобални губитак исправља грешке у дистрибуцији усева великих размера.

Ови губици се комбинују коришћењем тежина оптимизованих путем случајне претраге – технике која тестира различите комбинације тежина како би се максимизирала тачност. Овај процес резултира робусним и прилагодљивим моделом способним за руковање различитим пољопривредним сценаријима.

Процена перформанси CMTNet-а на хиперспектралним скуповима података беспилотних летелица

Да би проценили CMTNet, истраживачи су га тестирали на три хиперспектрална скупа података добијена беспилотним летелицама са Универзитета у Вухану. Ови скупови података су широко коришћени критеријуми у даљинском очитавању због свог високог квалитета и разноликости:

1. ВХУ-Хи-ЛонгКоуОвај скуп података покрива 550 × 400 пиксела са 270 спектралних опсега и просторном резолуцијом од 0,463 метра. Просторна резолуција од 0,463 метра значи да сваки пиксел представља површину на тлу величине 0,463 м × 0,463 м, што омогућава идентификацију појединачних биљака. Укључује девет врста усева, као што су кукуруз, памук и пиринач, са 1.019 узорака за обуку и 203.523 тест узорка.
2. ВХУ-Хи-ХанЦхуанОвај скуп података, са резолуцијом од 0,109 метара, обухвата 1.217 × 303 пиксела и садржи 16 типова покривача земљишта, укључујући јагоде, соју и пластичне фолије. Већа резолуција (0,109 м) омогућава финије детаље, као што је разлика између младих и зрелих биљака соје. Укупно је било 1.289 и 256.241 узорака за обуку и тестирање, респективно.
3. ВХУ-Хи-ХонгХуСа 940 × 475 пиксела и 270 трака, овај скуп података високе резолуције (0,043 метра) обухвата 22 класе, као што су клице памука, уљане репице и белог лука. При резолуцији од 0,043 м, видљиви су појединачни листови и пукотине у земљишту, што га чини идеалним за финозрнасту класификацију. Садржи 1.925 узорака за обуку и 384.678 тест узорака.

Модел је трениран на NVIDIA TITAN Xp графичким процесорима користећи PyTorch, са брзином учења од 0,001 и величином групе од 100. Брзина учења одређује колико модел прилагођава своје параметре током обуке - превисока, и може премашити оптималне вредности; прениска, и обука постаје спора.

Сваки експеримент је поновљен десет пута како би се осигурала поузданост, а улазни фрагменти – мали сегменти целе слике – оптимизовани су на 13 × 13 пиксела путем претраживања мреже, методе која тестира различите величине фрагмента како би се пронашла најефикаснија.

CMTNet постиже најсавременију тачност у класификацији усева

CMTNet је постигао изванредне резултате у свим скуповима података, надмашивши постојеће методе и у укупној тачности (OA) и у перформансама специфичним за класу. OA мери проценат исправно класификованих пиксела у свим класама, док просечна тачност (AA) израчунава средњу тачност по класи, решавајући неравнотеже.

На скупу података WHU-Hi-LongKou, CMTNet је постигао OA од 99,58%, надмашивши CTMixer за 0,19%. За захтевне класе са ограниченим подацима за обуку, као што је памук (41 узорак), CMTNet је и даље достигао тачност од 99,53%. Слично томе, на скупу података WHU-Hi-HanChuan, побољшао је тачност за лубеницу (22 узорка) са 82,42% на 96,11%, демонстрирајући своју способност да обрађује неуравнотежене податке кроз ефикасно спајање карактеристика.

Визуелна поређења класификационих мапа открила су мање фрагментираних делова и глатке границе између поља у поређењу са моделима попут 3D-CNN и Vision Transformer (ViT). На пример, у скупу података WHU-Hi-HanChuan склоном сенкама, CMTNet је минимизирао грешке изазване ниским угловима сунца, док је ResNet погрешно класификовао соју као сиве кровове.

Сенке представљају јединствен изазов јер мењају спектралне потписе – биљка соје у сенци може рефлектовати мање блиске инфрацрвене светлости, подсећајући на невегетацију. Користећи глобални контекст, CMTNet је препознао да су ове биљке у сенци део већег поља соје, смањујући грешке.

На скупу података WHU-Hi-HongHu, модел се истакао у разликовању спектрално сличних усева, као што су различите сорте купусњача, постижући тачност од 96.54% за Brassica parachinensis.

Студије аблације – експерименти који уклањају компоненте ради процене њиховог утицаја – потврдили су важност сваког модула. Додавање самог модула ограничења са вишеструким излазом повећало је OA за 1.52% на WHU-Hi-HongHu, истичући његову улогу у усавршавању фузије карактеристика. Без овог модула, локалне и глобалне карактеристике су се комбиновале насумично, што је довело до недоследних класификација.

Рачунарски компромиси и практична разматрања

Иако је тачност CMTNet-а неупоредива, његови рачунарски трошкови су већи од традиционалних метода. Обука на скупу података WHU-Hi-HongHu трајала је 1.885 секунди, у поређењу са 74 секунде за Random Forest (RF), алгоритам машинског учења који гради стабла одлучивања током обуке.

Међутим, овај компромис је оправдан у прецизној пољопривреди, где тачност директно утиче на предвиђања приноса и расподелу ресурса. На пример, погрешна класификација болесног усева као здравог могла би довести до неконтролисаних појава штеточина, што би уништило читава поља.

За примене у реалном времену, будући рад би могао да истражи технике компресије модела, као што је обрезивање сувишних неурона или квантизација тежина (смањење нумеричке прецизности), како би се смањило време извршавања без жртвовања перформанси. Обрезивање уклања мање важне везе из неуронске мреже, слично обрезивању грана са дрвета ради побољшања његовог облика, док квантизација поједностављује нумеричке прорачуне, убрзавајући обраду.

Будућност хиперспектралне класификације усева са CMTNet-ом

Упркос свом успеху, CMTNet се суочава са ограничењима. Перформансе благо опадају у јако осенченим регионима, као што се види у скупу података WHU-Hi-HanChuan (97.29% OA у односу на 99.58% у добро осветљеном LongKou). Сенке компликују класификацију јер смањују интензитет рефлектоване светлости, мењајући спектралне профиле.

Поред тога, класе са изузетно малим узорцима за обуку, попут соје уског листа (20 узорака), заостају за онима са обилним подацима. Мале величине узорака ограничавају способност модела да учи различите варијације, као што су разлике у облику листа због квалитета земљишта.

Будућа истраживања би могла да интегришу мултимодалне податке, као што су LiDAR мапе елевације или термално снимање, како би се побољшала отпорност на сенке и заклоне. LiDAR (Light Detection and Ranging - детекција и одређивање даљине светлости) користи ласерске импулсе за креирање 3D модела терена, што би могло да помогне у разликовању усева од сенки анализирањем разлика у висини.

Штавише, термално снимање бележи топлотне сигнале, пружајући додатне назнаке о здрављу биљака — усеви под стресом често имају више температуре крошње због смањене транспирације. Технике полунадгледаног учења, које користе необележене податке (нпр. слике беспилотних летелица без ручних напомена), такође могу побољшати перформансе код ретких врста усева.

Коришћењем регуларизације конзистентности – обучавањем модела да производи стабилна предвиђања на благо измењеним верзијама исте слике – истраживачи могу искористити неозначене податке како би побољшали генерализацију.

Коначно, примена CMTNet-а на edge уређајима, попут дронова опремљених уграђеним графичким процесорима, могла би омогућити праћење у реалном времену на удаљеним теренима. Примена на edge уређајима смањује ослањање на cloud computing, минимизирајући трошкове латенције и преноса података. Међутим, ово захтева оптимизацију модела за ограничену меморију и процесорску снагу, потенцијално кроз лагане архитектуре попут MobileNet-а или дестилације знања, где мањи модел “ученика” опонаша већи модел “наставника”.

Закључак

CMTNet представља значајан корак напред у хиперспектралној класификацији усева. Хармонизацијом CNN-ова и трансформатора, решава дугогодишње изазове у екстракцији и фузији карактеристика, нудећи пољопривредницима и агрономима моћан алат за прецизну пољопривреду.

Примене се крећу од откривања болести у реалном времену до оптимизације распореда наводњавања, а све је то кључно за одрживу пољопривреду усред климатских промена и раста становништва. Како технологија беспилотних летелица постаје све приступачнија, модели попут CMTNet-а играће кључну улогу у глобалној безбедности хране.

Будући напредак, као што су лакше архитектуре и мултимодална фузија података, могао би додатно побољшати њихову практичност. Уз континуиране иновације, CMTNet би могао постати камен темељац паметних пољопривредних система широм света, обезбеђујући ефикасно коришћење земљишта и отпорну производњу хране за генерације које долазе.

Референца: Гуо, X., Фенг, Q. и Гуо, Ф. CMTNet: хибридна CNN-трансформаторска мрежа за хиперспектралну класификацију усева засновану на беспилотним летелицама у прецизној пољопривреди. Sci Rep 15, 12383 (2025). https://doi.org/10.1038/s41598-025-97052-w