CMTNet дәстүрлі дақылдарды жіктеуден озып, дәл ауыл шаруашылығын жаңадан анықтайды.

Дәл дақылдарды жіктеу заманауи дәл ауыл шаруашылығы үшін аса маңызды, себебі ол фермерлерге дақылдардың денсаулығын бақылауға, өнімділікті болжауға және ресурстарды тиімді бөлуге мүмкіндік береді. Алайда дәстүрлі әдістер ауыл шаруашылығы ортасының күрделілігіне жиі төтеп бере алмайды, себебі дақылдар түрі, өсу кезеңдері және спектрлік сипаттамалары бойынша кең ауқымда өзгереді.

Гиперспектрлік бейнелеу және CMTNet шеңбері дегеніміз не?

Гиперспектралды бейнелеу (HSI) – жүздеген тар, іргелес толқын ұзындықтары аралығындағы мәліметтерді жинайтын технология, ол осы саладағы ойынды түбегейлі өзгертетін жаңашылдық ретінде пайда болды. Стандартты RGB камералар мен бірнеше кең жолақта мәлімет жинайтын көпспектралды сенсорлардан айырмашылығы, HSI әр пиксель үшін егжей-тегжейлі “спектрлік саусақ ізін” ұсынады.

Мысалы, хлорофиллдің белсенділігіне байланысты сау өсімдіктер жақын инфрақызыл сәулені күшті шағылыстырады, ал стресс жағдайындағы дақылдар айқын сіңіру үлгілерін көрсетеді. 400-ден 1000 нанометрге дейінгі толқын ұзындықтарындағы осы нәзік өзгерістерді 0,043 метрге дейінгі жоғары кеңістіктік ажыратымдылықта тіркеу арқылы HSI дақыл түрлерін дәл ажыратуға, ауруларды анықтауға және топырақты талдауға мүмкіндік береді.

Осы артықшылықтарға қарамастан, қолданыстағы әдістер жапырақ текстурасы немесе топырақ үлгілері сияқты жергілікті егжей-тегжейлерді ірі ауқымды дақыл таралуы сияқты жалпы үлгілермен теңестіруде қиындықтарға тап болады. Бұл шектеу әсіресе шуылы көп немесе теңгерімсіз деректер жиындыларында айқын көрініп, дақылдар арасындағы нәзік спектрлік айырмашылықтар қате жіктеулерге әкелуі мүмкін.

Осы мәселелерді шешу үшін зерттеушілер әзірледі CMTNet (Конволюциялық-трансформаторлық желі), конволюциялық нейрондық желілердің (CNN) және трансформаторлардың артықшылықтарын біріктіретін жаңа терең оқыту шеңбері. CNN-дер кескін сияқты тор тәрізді деректерді өңдеуге арналған нейрондық желілер класы болып табылады; олар кеңістіктік иерархияларды (мысалы, жиектер, текстуралар) анықтайтын сүзгі қабаттарын пайдаланады.

Трансформаторлар бастапқыда табиғи тілді өңдеу үшін әзірленген және деректердегі ұзақ қашықтықтағы тәуелділіктерді модельдеу үшін өзіндік назар аудару механизмдерін пайдаланады, бұл оларға жаһандық үлгілерді анықтауда шеберлік береді. Жергілікті және жаһандық сипаттамаларды кезекпен өңдейтін ертеректегі модельдерден айырмашылығы, CMTNet екі түрлі ақпаратты бір уақытта алу үшін параллельді архитектураны қолданады.

Бұл тәсіл үш ірі ұшқышсыз ұшу аппаратына негізделген HSI деректер жиынтығында ең озық дәлдікке қол жеткізетінін дәлелдеді. Мысалы, WHU-Hi-LongKou деректер жиынтығында CMTNet жалпы дәлдігі (OA) 99,58%-ке жетіп, алдыңғы үздік модельден 0,19%-ке озып түсті.

Ауыл шаруашылығын классификациялауда дәстүрлі гиперспектралды бейнелеудің қиындықтары

Гиперспектрлік деректерді талдаудың ерте әдістері көбінесе спектрлік немесе кеңістіктік сипаттамаларға баса назар аударып, толық емес нәтижелерге әкелді. Спектрлік әдістер, мысалы, негізгі компоненттерді талдау (PCA), толқын ұзындығы туралы ақпаратқа назар аудара отырып деректердің күрделілігін төмендетсе де, пиксельдер арасындағы кеңістіктік байланыстарды ескермеді.

Мысалы, PCA жоғары өлшемді спектрлік деректерді ең көп дисперсияны түсіндіретін аз компоненттерге айналдырып, талдауды жеңілдетеді. Алайда бұл тәсіл дала егістерінің орналасуы сияқты кеңістіктік контексті ескермейді. Керісінше, математикалық морфология операторлары сияқты кеңістіктік әдістер дақылдардың физикалық орналасуындағы үлгілерді айқындаса да, маңызды спектрлік бөлшектерді назардан тыс қалдырады.

Математикалық морфология суреттерден пішіндер мен құрылымдарды, мысалы, алаңдар арасындағы шекараларды анықтау үшін дилация мен эрозия сияқты операцияларды қолданады. Уақыт өте келе конволюциялық нейрондық желілер (CNN) екі түрлі деректерді өңдеу арқылы жіктеуді жақсартты.

Алайда олардың бекітілген қабылдау алаңдары — желінің бір уақытта “көре” алатын кескін аймағы — ұзақ қашықтықтағы тәуелділіктерді анықтау мүмкіндігін шектеді. Мысалы, 3D-CNN спектрлік профильдері ұқсас, бірақ үлкен алқапта өсу үлгілері әртүрлі екі соя бұршақ сортының арасындағы айырмашылықты ажыратуда қиындыққа тап болуы мүмкін.

Трансформерлер, бастапқыда табиғи тілді өңдеуге арналған нейрондық желінің бір түрі, осы мәселені шешудің жолын ұсынды. Өзіндік назар аудару механизмдерін пайдалана отырып, трансформерлер деректердегі жаһандық қатынастарды модельдеуде ерекше нәтиже көрсетеді. Өзіндік назар аудару моделіне кіріс тізбегінің әртүрлі бөліктерінің маңыздылығын бағалауға мүмкіндік береді, осылайша ол маңызды аймақтарға (мысалы, зақымдалған өсімдіктер кластері) назар аударып, шуды (мысалы, бұлт көлеңкелерін) елемейді.

Дегенмен, олар жиі жапырақ жиектері немесе топырақ жарықтары сияқты ұсақ жергілікті бөлшектерді байқамай қалады. CTMixer тәрізді гибридті модельдер CNN-дер мен Transformer-лерді біріктіруге тырысқанымен, олар бұл процесті кезең-кезеңімен орындап, алдымен жергілікті ерекшеліктерді, кейін ғана жаһандық ерекшеліктерді өңдеді. Бұл тәсіл ақпаратты тиімсіз біріктіруге және күрделі ауылшаруашылық орталарында оңтайлы емес нәтижелерге әкелді.

CMTNet қалай жұмыс істейді: жергілікті және жаһандық ерекшеліктерді байланыстыру

CMTNet осы шектеулерді спектрлік-кеңістіктік, жергілікті және жаһандық ерекшеліктерді тиімді түрде шығарып, біріктіруге арналған бірегей үш бөліктен тұратын архитектура арқылы жеңеді.

1. Бірінші компонент, спектрлік-кеңістіктік ерекшеліктерді шығару модулі, 3D және 2D конволюциялық қабаттарды пайдалана отырып, шикі HSI деректерін өңдейді.

3D конволюциялық қабаттар кеңістіктік (биіктік × ені) және спектрлік (толқын ұзындығы) өлшемдерді бір уақытта талдап, дақыл жамылғысындағы белгілі бір толқын ұзындықтарының шағылысуы сияқты үлгілерді анықтайды. Мысалы, 3D ядросы сау жүгерінің жоғарғы жапырақтары төменгі жапырақтарына қарағанда жақын инфрақызыл сәулені көбірек шағылыстыратынын анықтай алады.

Содан кейін 2D қабаттар осы ерекшеліктерді өңдеп, далаға егілген өсімдіктердің орналасуы сияқты кеңістіктік бөлшектерге назар аударады. Бұл екі сатылы процесс спектрлік әртүрлілікті (мысалы, хлорофилл мөлшері) және кеңістіктік контексті (мысалы, қатар аралығы) сақтауды қамтамасыз етеді.

2. Екінші компонент, Жергілікті-жаһандық ерекшеліктерді шығару модулі, параллельді түрде жұмыс істейді. Бір тармақ жергілікті бөлшектерге, мысалы жеке жапырақтардың текстурасына немесе топырақ учаскелерінің пішініне назар аудару үшін нейрондық желілерді (CNN) қолданады. Бұл ерекшеліктер спектрлік профильдері ұқсас түрлерді, мысалы әртүрлі соя бұршақ сорттарын анықтауда шешуші рөл атқарады.

Екінші бағыт әлемдік байланыстарды модельдеу үшін Трансформаторларды қолданады, мысалы, дақылдардың кең аумақтарға қалай таралатынын немесе жақын маңдағы ағаштардың көлеңкесінің спектрлік өлшеулерге қалай әсер ететінін. Бұл ерекшеліктерді кезектеп емес, бір мезгілде өңдеу арқылы CMTNet ертеректегі гибридті модельдерді мазалайтын ақпараттың жоғалуын болдырмайды.

Мысалы, CNN тармағы мақта жапырақтарының тістелген жиектерін анықтаса, Transformer тармағы осы жапырақтардың кунжут өсімдіктерімен шектелген үлкен мақта алқабының бір бөлігі екенін таниды.

3. Үшінші компонент, көп шығысты шектеу модулі, жергілікті, жаһандық және біріктірілген ерекшеліктер бойынша теңдестірілген оқуды қамтамасыз етеді. Оқыту кезінде әрбір ерекшелік түріне бөлек шығын функциялары қолданылады, бұл желіні түсінігінің барлық аспектілерін жетілдіруге мәжбүрлейді.

Жоғалту функциясы болжанған және нақты мәндер арасындағы айырмашылықты санмен бағалап, модельді түзетуге бағыттайды. Мысалы, жергілікті ерекшеліктер бойынша жоғалту жапырақ жиектерін қате жіктегені үшін модельді жазалайды, ал жалпы жоғалту ауқымды дақыл таралуындағы қателерді түзетеді.

Бұл шығындарды дәлдігін барынша арттыру үшін әртүрлі салмақ комбинацияларын сынақтан өткізетін кездейсоқ іздеу арқылы оңтайландырылған салмақтармен біріктіреді. Бұл процесс әртүрлі ауылшаруашылық жағдайларын шешуге қабілетті берік әрі икемді модель жасайды.

БПЛА гиперспектрлік деректер жиынтығында CMTNet өнімділігін бағалау

CMTNet-ті бағалау үшін зерттеушілер оны Ухань университетінен алынған үш ұшқышсыз ұшу аппараты (УУА) арқылы жиналған гиперспектрлік деректер жиынтығында сынап көрді. Бұл деректер жиынтықтары жоғары сапасы мен алуан түрлілігі арқасында қашықтықтан зондтау саласында кеңінен қолданылатын эталондық үлгілер болып табылады:

1. WHU-Hi-LongKou: Бұл деректер жиынтығы 550 × 400 пиксельді, 270 спектрлік жолақты және 0,463 метрлік кеңістіктік ажыратымдылықты қамтиды. 0,463 метрлік кеңістіктік ажыратымдылық әр пиксель жер бетіндегі 0,463 м × 0,463 м аумақты көрсетеді, бұл жеке өсімдіктерді анықтауға мүмкіндік береді. Оған жүгері, мақта және күріш сияқты тоғыз дақыл түрі кіреді, онда 1 019 оқыту үлгісі және 203 523 сынақ үлгісі бар.
2. WHU-Hi-HanChuan: 0,109 метрлік ажыратымдылықта 1 217 × 303 пиксельді қамтитын бұл деректер жиынтығы құлпынай, соя бұршақтары және пластикалық парақтар сияқты 16 жер жамылғысы түрін қамтиды. Жоғары ажыратымдылық (0,109 м) жас және жетілген соя бұршақтарын ажырату сияқты ұсақ бөлшектерді көрсетуге мүмкіндік береді. Оқыту және тестілеу үлгілерінің саны тиісінше 1 289 және 256 241-ге тең.
3. WHU-Hi-Хонгху940 × 475 пиксель және 270 жолақпен бұл жоғары ажыратымдылықтағы (0,043 метр) деректер жиынтығы мақта, рапс және сарымсақ бүршіктері сияқты 22 сыныпты қамтиды. 0,043 м ажыратымдылықта жеке жапырақтар мен топырақ жарықтары көрінеді, бұл оны ұсақ сыныптауға өте қолайлы етеді. Онда 1 925 оқыту үлгісі және 384 678 тестілеу үлгісі бар.

Модель PyTorch қолдана отырып, NVIDIA TITAN Xp GPU-ларында 0,001 үйрену жылдамдығы және 100 өлшемді топ көлемімен оқытылды. Үйрену жылдамдығы модельдің оқыту кезінде параметрлерін қаншалықты өзгертетінін анықтайды: тым жоғары болса, ол оңтайлы мәндерден асып кетуі мүмкін; тым төмен болса, оқыту баяулайды.

Әрбір тәжірибе сенімділікті қамтамасыз ету үшін он рет қайталанды, ал кіріс патчтары — толық суреттің шағын бөліктері — тор іздеу әдісі арқылы 13 × 13 пиксельге оңтайландырылды, бұл әдіс ең тиімді патч өлшемін табу үшін әртүрлі өлшемдерді сынақтан өткізеді.

CMTNet дақылдарды жіктеуде ең озық дәлдікке қол жеткізеді

CMTNet барлық деректер жиынтығында айтарлықтай нәтиже көрсетіп, жалпы дәлдік (OA) пен сыныптық көрсеткіштер бойынша қолданыстағы әдістерден озып түсті. OA барлық сыныптар бойынша дұрыс жіктелген пиксельдердің пайыздық үлесін өлшесе, орташа дәлдік (AA) әр сынып бойынша орташа дәлдікті есептеп, теңгерімсіздіктерді ескереді.

WHU-Hi-LongKou деректер жиынында CMTNet 99.58% жалпы дәлдікке (OA) қол жеткізіп, CTMixer-ден 0.19%-ға озып түсті. Оқыту деректері шектеулі қиын сыныптарда, мысалы мақта (41 үлгі), CMTNet әлі де 99.53% дәлдікке жетті. Ұқсас түрде, WHU-Hi-HanChuan деректер жиынында қарбыз (22 үлгі) үшін дәлдікті 82.42%-ден 96.11%-ге дейін арттырып, тиімді ерекшеліктерді біріктіру арқылы теңгерімсіз деректермен жұмыс істей алатын қабілетін көрсетті.

Сыныптау карталарын визуалды салыстыру 3D-CNN және Vision Transformer (ViT) сияқты модельдермен салыстырғанда фрагменттелген аймақтардың азайғанын және өрістер арасындағы шекаралардың бірқалыптырақ екенін көрсетті. Мысалы, көлеңкеге бейім WHU-Hi-HanChuan деректер жиынында CMTNet төмен күн бұрыштарынан туындайтын қателерді азайтса, ResNet соя бұршақтарын сұр шатырлар ретінде қате жіктеді.

Көлеңкелер ерекше қиындық тудырады, себебі олар спектрлік белгілерді өзгертеді — көлеңкедегі соя өсімдігі жақын инфрақызыл сәулені аз шағылыстырып, өсімдік емес затқа ұқсайды. Жалпы контексті пайдалана отырып, CMTNet бұл көлеңкелі өсімдіктердің үлкен соя алқабының бір бөлігі екенін анықтап, қателерді азайтты.

WHU-Hi-HongHu деректер жиынында модель спектральды ұқсас дақылдарды, мысалы әртүрлі Brassica сорттарын ажыратуда жоғары нәтиже көрсетіп, 96,541 TP3T дәлдігіне жетті. Брассика парахинезис.

Аблация зерттеулері — компоненттерді алып тастау арқылы олардың әсерін бағалайтын эксперименттер — әрбір модульдің маңыздылығын растады. Тек көпшығыс шектеу модулін қосу WHU-Hi-HongHu жиынындағы жалпы дәлділікті (OA) 1,521 TP3T-ға арттырды, бұл оның ерекшеліктерді біріктіруді жетілдірудегі рөлін айқындайды. Бұл модуль болмаса, жергілікті және жаһандық ерекшеліктер ретсіз біріктіріліп, тұрақсыз жіктеулерге әкеледі.

Есептеулік компромистер мен практикалық ескертулер

CMTNet-тің дәлдігі теңдессіз болса да, оның есептеу шығыны дәстүрлі әдістерге қарағанда жоғары. WHU-Hi-HongHu деректер жиынтығында оқыту 1 885 секундқа созылды, ал Random Forest (RF) машинамен оқыту алгоритмі оқыту кезінде шешім ағаштарын құратындықтан, оған 74 секунд кетті.

Алайда дәлдік ауыл шаруашылығында бұл тиімділік-шығын қатынасы ақталған, себебі дәлдік өнім болжамдары мен ресурстарды бөлуге тікелей әсер етеді. Мысалы, ауруға шалдыққан дақылды сау деп қате жіктеу бақылаусыз зиянкестердің өршуіне әкеліп, бүкіл алқаптарды жойып жіберуі мүмкін.

Нақты уақыттағы қолданбалар үшін болашақ жұмыстарда өнімділіктен құрбандыққа бармай орындау уақытын қысқарту мақсатында модельді сығу әдістерін, мысалы артық нейрондарды қысқарту немесе салмақтарды кванттау (сандық дәлділікті төмендету) зерттеуге болады. Нейрондарды қысқарту нейрондық желіден маңызды емес байланыстарды алып тастайды, бұл ағаштың пішінін жақсарту үшін бұтақтарын кесуге ұқсайды, ал кванттау сандық есептеулерді жеңілдетіп, өңдеуді жеделдетеді.

CMTNet-пен гиперспектралды дақылдарды жіктеудің болашағы

Оның табыстылығына қарамастан, CMTNet шектеулерге тап болады. WHU-Hi-HanChuan деректер жиынында (жарықтандырылған LongKou-мен салыстырғанда 97,29% OA) көлеңке көп түскен аймақтарда өнімділік сәл төмендейді. Көлеңкелер жіктеуді күрделендіреді, себебі олар шағылысқан жарық интенсивтілігін азайтып, спектрлік профильдерді өзгертеді.

Сонымен қатар, өте аз оқыту үлгілері бар кластар, мысалы тар жапырақты соя (20 үлгі), мол деректері бар кластардан артта қалады. Шағын үлгілер саны модельге топырақ сапасына байланысты жапырақ пішініндегі әртүрлі өзгерістерді үйрену мүмкіндігін шектейді.

Болашақ зерттеулер көлеңкелер мен жабылуларға төзімділікті арттыру үшін LiDAR биіктік карталары немесе жылу камералары сияқты көпмодальды деректерді біріктіре алады. LiDAR (Light Detection and Ranging) лазерлік импульстерді пайдаланып 3D рельеф модельдерін жасайды, бұл биіктік айырмашылықтарын талдау арқылы дақылдарды көлеңкелерден ажыратуға көмектеседі.

Сонымен қатар, термалды бейнелеу жылу іздерін тіркеп, өсімдіктердің денсаулығы туралы қосымша мәліметтер береді — стресске ұшыраған дақылдар транспирацияның азаюына байланысты көлеңкелі қабат температурасы жиі жоғары болады. Жаппай бақылаусыз (мысалы, қолмен аннотацияланбаған ұшқышсыз ұшу аппараттарының суреттері) деректерді пайдаланатын жартылай бақылаусыз оқыту әдістері сирек кездесетін дақыл түрлері үшін де өнімділікті арттыруы мүмкін.

Үйлесімділік регенерациясын қолдану арқылы — бірдей суреттің сәл өзгертілген нұсқаларында тұрақты болжамдар жасауға модельді оқыту — зерттеушілер жалпылау қабілетін жақсарту үшін белгіленбеген деректерді пайдалана алады.

Соңында, CMTNet-ті GPU-мен жабдықталған дрондар сияқты шеткі құрылғыларға орналастыру шалғай далаларда нақты уақыттағы мониторинг жүргізуге мүмкіндік береді. Шеткі орналастыру бұлттық есептеуге тәуелділікті азайтып, кешігуді және деректерді жіберу шығындарын минималдайды. Алайда бұл шектеулі жад пен өңдеу қуаты үшін модельді оңтайландыруды қажет етеді, мысалы MobileNet сияқты жеңіл архитектуралар немесе білімді дистилляциялау әдісі арқылы, онда кіші “оқушы” модель үлкен “мұғалім” модельді еліктейді.

Қорытынды

CMTNet гиперспектралды дақылдарды жіктеуде айтарлықтай ілгерілеуді білдіреді. CNN-дер мен Transformer-лерді үйлестіре отырып, ол ерекшеліктерді шығару мен біріктірудегі ұзақ уақыттан бері шешілмей келе жатқан мәселелерді шешеді және фермерлер мен агрономдарға дәл ауыл шаруашылығы үшін қуатты құрал ұсынады.

Қолдану саласы нақты уақыттағы ауруларды анықтаудан бастап суару кестесін оңтайландыруға дейін созылады, бұл климаттың өзгеруі мен халық санының өсуі жағдайында тұрақты ауыл шаруашылығы үшін аса маңызды. БПЛА технологиясы қолжетімдірек болған сайын CMTNet сияқты модельдер жаһандық азық-түлік қауіпсіздігінде шешуші рөл атқарады.

Болашақтағы жетістіктер, мысалы жеңілірек құрылымдар мен көпмодальды деректерді біріктіру, олардың практикалық тиімділігін одан әрі арттыруы мүмкін. Тұрақты инновациялар арқасында CMTNet бүкіл әлемдегі ақылды ауыл шаруашылығы жүйелерінің негізгі тірегіне айналып, жерді тиімді пайдалану мен тағам өндірісінің тұрақтылығын келешек ұрпақтар үшін қамтамасыз ете алады.

Дереккөз: Гуо, С., Фэн, Ч. және Гуо, Ф. CMTNet: дәл ауыл шаруашылығында ұшқышсыз ұшу аппараты негізіндегі гиперспектрлік дақылдарды жіктеуге арналған гибридті CNN-трансформатор желісі. Sci Rep 15, 12383 (2025). https://doi.org/10.1038/s41598-025-97052-w