![\"Architecture](\"https:\/\/i0.wp.com\/geopard.tech\/wp-content\/uploads\/2025\/05\/CMTNet-Architecture-and-Performance.png?resize=810%2C707&ssl=1\")
<\/p>\n
Les transformateurs, d\u00e9velopp\u00e9s \u00e0 l'origine pour le traitement du langage naturel, utilisent des m\u00e9canismes d'auto-attention pour mod\u00e9liser les d\u00e9pendances \u00e0 long terme dans les donn\u00e9es, ce qui les rend aptes \u00e0 capturer les mod\u00e8les globaux. Contrairement aux mod\u00e8les ant\u00e9rieurs qui traitent les caract\u00e9ristiques locales et globales de mani\u00e8re s\u00e9quentielle, CMTNet utilise une architecture parall\u00e8le pour extraire les deux types d'informations simultan\u00e9ment.<\/p>\n
Cette approche s'est av\u00e9r\u00e9e tr\u00e8s efficace, atteignant une pr\u00e9cision de pointe sur trois grands ensembles de donn\u00e9es HSI bas\u00e9es sur des drones. Par exemple, sur l'ensemble de donn\u00e9es WHU-Hi-LongKou, CMTNet a atteint une pr\u00e9cision globale (OA) de 99,58%, d\u00e9passant le meilleur mod\u00e8le pr\u00e9c\u00e9dent de 0,19%.<\/p>\n
D\u00e9fis de l'imagerie hyperspectrale traditionnelle dans la classification agricole<\/h2>\n
Les premi\u00e8res m\u00e9thodes d'analyse des donn\u00e9es hyperspectrales se concentraient souvent sur les caract\u00e9ristiques spectrales ou spatiales, ce qui conduisait \u00e0 des r\u00e9sultats incomplets. Les techniques spectrales, telles que l'analyse en composantes principales (ACP), r\u00e9duisaient la complexit\u00e9 des donn\u00e9es en se concentrant sur les informations relatives \u00e0 la longueur d'onde, mais ignoraient les relations spatiales entre les pixels.<\/p>\n
L'ACP, par exemple, transforme les donn\u00e9es spectrales \u00e0 haute dimension en un nombre r\u00e9duit de composantes qui expliquent la plus grande variance, ce qui simplifie l'analyse. Toutefois, cette approche ne tient pas compte du contexte spatial, tel que la disposition des cultures dans un champ. \u00c0 l'inverse, les m\u00e9thodes spatiales, comme les op\u00e9rateurs de morphologie math\u00e9matique, ont mis en \u00e9vidence des sch\u00e9mas dans la disposition physique des cultures, mais ont n\u00e9glig\u00e9 des d\u00e9tails spectraux essentiels.<\/p>\n
La morphologie math\u00e9matique utilise des op\u00e9rations telles que la dilatation et l'\u00e9rosion pour extraire des formes et des structures des images, telles que les limites entre les champs. Au fil du temps, les r\u00e9seaux neuronaux convolutifs (CNN) ont am\u00e9lior\u00e9 la classification en traitant les deux types de donn\u00e9es.<\/p>\n
Cependant, leurs champs r\u00e9ceptifs fixes - la zone d'une image qu'un r\u00e9seau peut \u201cvoir\u201d \u00e0 la fois - limitent leur capacit\u00e9 \u00e0 saisir les d\u00e9pendances \u00e0 longue distance. Par exemple, un r\u00e9seau 3D-CNN pourrait avoir du mal \u00e0 faire la distinction entre deux vari\u00e9t\u00e9s de soja pr\u00e9sentant des profils spectraux similaires mais des sch\u00e9mas de croissance diff\u00e9rents dans un grand champ.<\/p>\n
Les transformateurs, un type de r\u00e9seau neuronal con\u00e7u \u00e0 l'origine pour le traitement du langage naturel, offrent une solution \u00e0 ce probl\u00e8me. En utilisant des m\u00e9canismes d'auto-attention, les transformateurs excellent dans la mod\u00e9lisation des relations globales dans les donn\u00e9es. L'auto-attention permet au mod\u00e8le d'\u00e9valuer l'importance des diff\u00e9rentes parties d'une s\u00e9quence d'entr\u00e9e, ce qui lui permet de se concentrer sur les r\u00e9gions pertinentes (par exemple, une grappe de plantes malades) tout en ignorant le bruit (par exemple, les ombres des nuages).<\/p>\n
Cependant, ils manquent souvent des d\u00e9tails locaux \u00e0 grain fin, tels que les bords des feuilles ou les fissures du sol. Les mod\u00e8les hybrides tels que CTMixer ont tent\u00e9 de combiner les CNN et les transformateurs, mais ils l'ont fait de mani\u00e8re s\u00e9quentielle, en traitant d'abord les caract\u00e9ristiques locales et ensuite les caract\u00e9ristiques globales. Cette approche a conduit \u00e0 une fusion inefficace des informations et \u00e0 des performances sous-optimales dans des environnements agricoles complexes.<\/p>\n
Comment fonctionne CMTNet : Des liens entre les caract\u00e9ristiques locales et mondiales<\/h2>\n
CMTNet surmonte ces limitations gr\u00e2ce \u00e0 une architecture unique en trois parties con\u00e7ue pour extraire et fusionner efficacement les caract\u00e9ristiques spectrales-spatiales, locales et globales.<\/p>\n
1.<\/strong> Le premier \u00e9l\u00e9ment, le module d'extraction de caract\u00e9ristiques spectrales et spatiales<\/strong>, Il traite les donn\u00e9es HSI brutes \u00e0 l'aide de couches convolutives 3D et 2D.<\/p>\n Les couches convolutives 3D analysent simultan\u00e9ment les dimensions spatiales (hauteur \u00d7 largeur) et spectrales (longueur d'onde), capturant des mod\u00e8les tels que la r\u00e9flectance de longueurs d'onde sp\u00e9cifiques \u00e0 travers un couvert v\u00e9g\u00e9tal. Par exemple, un noyau 3D peut d\u00e9tecter qu'un ma\u00efs sain r\u00e9fl\u00e9chit plus de lumi\u00e8re proche infrarouge dans ses feuilles sup\u00e9rieures que dans ses feuilles inf\u00e9rieures.<\/p>\n Les couches 2D affinent ensuite ces caract\u00e9ristiques, en se concentrant sur des d\u00e9tails spatiaux tels que la disposition des plantes dans un champ. Ce processus en deux \u00e9tapes permet de pr\u00e9server \u00e0 la fois la diversit\u00e9 spectrale (par exemple, la teneur en chlorophylle) et le contexte spatial (par exemple, l'espacement des rang\u00e9es).<\/p>\n 2.<\/strong> La deuxi\u00e8me composante, le module d'extraction de caract\u00e9ristiques locales et globales<\/strong>, fonctionne en parall\u00e8le. Une branche utilise les CNN pour se concentrer sur les d\u00e9tails locaux, tels que la texture des feuilles individuelles ou la forme des taches de sol. Ces caract\u00e9ristiques sont essentielles pour identifier les esp\u00e8ces pr\u00e9sentant des profils spectraux similaires, comme les diff\u00e9rentes vari\u00e9t\u00e9s de soja.<\/p>\n L'autre branche utilise des transformateurs pour mod\u00e9liser des relations globales, telles que la r\u00e9partition des cultures sur de vastes zones ou l'influence des ombres des arbres voisins sur les relev\u00e9s spectraux. En traitant ces caract\u00e9ristiques simultan\u00e9ment plut\u00f4t que s\u00e9quentiellement, CMTNet \u00e9vite la perte d'informations qui affecte les mod\u00e8les hybrides ant\u00e9rieurs.<\/p>\n Par exemple, alors que la branche CNN identifie les bords d\u00e9chiquet\u00e9s des feuilles de coton, la branche Transformer reconna\u00eet que ces feuilles font partie d'un champ de coton plus vaste bord\u00e9 de plantes de s\u00e9same.<\/p>\n 3.<\/strong> La troisi\u00e8me composante, le module de contrainte multi-sorties<\/strong>, Cette m\u00e9thode garantit un apprentissage \u00e9quilibr\u00e9 entre les caract\u00e9ristiques locales, globales et fusionn\u00e9es. Au cours de la formation, des fonctions de perte distinctes sont appliqu\u00e9es \u00e0 chaque type de caract\u00e9ristique, ce qui oblige le r\u00e9seau \u00e0 affiner tous les aspects de sa compr\u00e9hension.<\/p>\n Une fonction de perte quantifie la diff\u00e9rence entre les valeurs pr\u00e9dites et les valeurs r\u00e9elles, guidant ainsi les ajustements du mod\u00e8le. Par exemple, la perte pour les caract\u00e9ristiques locales peut p\u00e9naliser le mod\u00e8le pour avoir mal classifi\u00e9 les bords des feuilles, tandis que la perte globale corrige les erreurs dans la distribution des cultures \u00e0 grande \u00e9chelle.<\/p>\n Ces pertes sont combin\u00e9es \u00e0 l'aide de poids optimis\u00e9s par une recherche al\u00e9atoire - une technique qui teste diff\u00e9rentes combinaisons de poids pour maximiser la pr\u00e9cision. Ce processus aboutit \u00e0 un mod\u00e8le robuste et adaptable, capable de g\u00e9rer divers sc\u00e9narios agricoles.<\/p>\n Pour \u00e9valuer CMTNet, les chercheurs l'ont test\u00e9 sur trois ensembles de donn\u00e9es hyperspectrales acquises par drone \u00e0 l'universit\u00e9 de Wuhan. Ces ensembles de donn\u00e9es sont des r\u00e9f\u00e9rences largement utilis\u00e9es dans le domaine de la t\u00e9l\u00e9d\u00e9tection en raison de leur grande qualit\u00e9 et de leur diversit\u00e9 :<\/p>\n Le mod\u00e8le a \u00e9t\u00e9 entra\u00een\u00e9 sur les GPU NVIDIA TITAN Xp \u00e0 l'aide de PyTorch, avec un taux d'apprentissage de 0,001 et une taille de lot de 100. Un taux d'apprentissage d\u00e9termine dans quelle mesure le mod\u00e8le ajuste ses param\u00e8tres au cours de l'apprentissage. S'il est trop \u00e9lev\u00e9, il risque de d\u00e9passer les valeurs optimales ; s'il est trop faible, l'apprentissage devient plus lent.<\/p>\n Chaque exp\u00e9rience a \u00e9t\u00e9 r\u00e9p\u00e9t\u00e9e dix fois pour garantir sa fiabilit\u00e9, et les patchs d'entr\u00e9e - de petits segments de l'image compl\u00e8te - ont \u00e9t\u00e9 optimis\u00e9s \u00e0 13 \u00d7 13 pixels gr\u00e2ce \u00e0 la recherche de grille, une m\u00e9thode qui teste diff\u00e9rentes tailles de patchs pour trouver la plus efficace.<\/p>\n CMTNet a obtenu des r\u00e9sultats remarquables dans tous les ensembles de donn\u00e9es, surpassant les m\u00e9thodes existantes \u00e0 la fois en termes de pr\u00e9cision globale (OA) et de performance par classe. L'OA mesure le pourcentage de pixels correctement class\u00e9s dans toutes les classes, tandis que la pr\u00e9cision moyenne (AA) calcule la pr\u00e9cision moyenne par classe, en tenant compte des d\u00e9s\u00e9quilibres.<\/p>\n Sur l'ensemble de donn\u00e9es WHU-Hi-LongKou, CMTNet a obtenu une OA de 99,58%, d\u00e9passant CTMixer de 0,19%. Pour les classes difficiles avec des donn\u00e9es de formation limit\u00e9es, telles que le coton (41 \u00e9chantillons), CMTNet a tout de m\u00eame atteint une pr\u00e9cision de 99,53%. De m\u00eame, sur l'ensemble de donn\u00e9es WHU-Hi-HanChuan, il a am\u00e9lior\u00e9 la pr\u00e9cision pour la past\u00e8que (22 \u00e9chantillons) de 82,42% \u00e0 96,11%, d\u00e9montrant ainsi sa capacit\u00e9 \u00e0 traiter des donn\u00e9es d\u00e9s\u00e9quilibr\u00e9es gr\u00e2ce \u00e0 une fusion efficace des caract\u00e9ristiques.<\/p>\n Les comparaisons visuelles des cartes de classification ont r\u00e9v\u00e9l\u00e9 moins de parcelles fragment\u00e9es et des fronti\u00e8res plus lisses entre les champs par rapport \u00e0 des mod\u00e8les tels que 3D-CNN et Vision Transformer (ViT). Par exemple, dans l'ensemble de donn\u00e9es WHU-Hi-HanChuan sujettes \u00e0 l'ombre, CMTNet a minimis\u00e9 les erreurs caus\u00e9es par les faibles angles d'ensoleillement, alors que ResNet a mal classifi\u00e9 les graines de soja en les faisant passer pour des toits gris.<\/p>\n Les ombres constituent un d\u00e9fi unique car elles modifient les signatures spectrales - un plant de soja dans l'ombre peut refl\u00e9ter moins de lumi\u00e8re dans le proche infrarouge, ressemblant ainsi \u00e0 de la non-v\u00e9g\u00e9tation. En tirant parti du contexte global, CMTNet a reconnu que ces plantes ombrag\u00e9es faisaient partie d'un champ de soja plus vaste, ce qui a permis de r\u00e9duire les erreurs.<\/p>\n Sur le jeu de donn\u00e9es WHU-Hi-HongHu, le mod\u00e8le a excell\u00e9 dans la distinction de cultures spectralement similaires, telles que diff\u00e9rentes vari\u00e9t\u00e9s de brassicac\u00e9es, atteignant une pr\u00e9cision de 96,54% pour les vari\u00e9t\u00e9s de brassicac\u00e9es.\u00a0Brassica parachinensis<\/em>.<\/p>\n Les \u00e9tudes d'ablation (exp\u00e9riences consistant \u00e0 supprimer des composants pour \u00e9valuer leur impact) ont confirm\u00e9 l'importance de chaque module. L'ajout du module de contrainte multi-sorties a permis \u00e0 lui seul d'augmenter l'OA de 1,52% sur WHU-Hi-HongHu, soulignant son r\u00f4le dans l'affinement de la fusion des caract\u00e9ristiques. Sans ce module, les caract\u00e9ristiques locales et globales ont \u00e9t\u00e9 combin\u00e9es au hasard, ce qui a conduit \u00e0 des classifications incoh\u00e9rentes.<\/p>\n Si la pr\u00e9cision de CMTNet est in\u00e9gal\u00e9e, son co\u00fbt de calcul est plus \u00e9lev\u00e9 que celui des m\u00e9thodes traditionnelles. La formation sur l'ensemble de donn\u00e9es WHU-Hi-HongHu a pris 1 885 secondes, contre 74 secondes pour Random Forest (RF), un algorithme d'apprentissage automatique qui construit des arbres de d\u00e9cision pendant la formation.<\/p>\n Toutefois, ce compromis est justifi\u00e9 dans l'agriculture de pr\u00e9cision, o\u00f9 la pr\u00e9cision a un impact direct sur les pr\u00e9visions de rendement et l'affectation des ressources. Par exemple, la classification erron\u00e9e d'une culture malade comme \u00e9tant saine pourrait conduire \u00e0 des \u00e9pid\u00e9mies de parasites non contr\u00f4l\u00e9es, d\u00e9vastant des champs entiers.<\/p>\n Pour les applications en temps r\u00e9el, les travaux futurs pourraient explorer des techniques de compression de mod\u00e8les, telles que l'\u00e9lagage des neurones redondants ou la quantification des poids (r\u00e9duction de la pr\u00e9cision num\u00e9rique), afin de r\u00e9duire la dur\u00e9e d'ex\u00e9cution sans sacrifier les performances. L'\u00e9lagage supprime les connexions les moins importantes du r\u00e9seau neuronal, un peu comme si l'on coupait les branches d'un arbre pour en am\u00e9liorer la forme, tandis que la quantification simplifie les calculs num\u00e9riques, ce qui acc\u00e9l\u00e8re le traitement.<\/p>\n Malgr\u00e9 son succ\u00e8s, CMTNet est confront\u00e9 \u00e0 des limites. Les performances diminuent l\u00e9g\u00e8rement dans les r\u00e9gions fortement ombrag\u00e9es, comme le montre l'ensemble de donn\u00e9es WHU-Hi-HanChuan (97,29% OA contre 99,58% dans la r\u00e9gion bien \u00e9clair\u00e9e de LongKou). Les ombres compliquent la classification car elles r\u00e9duisent l'intensit\u00e9 de la lumi\u00e8re r\u00e9fl\u00e9chie, ce qui modifie les profils spectraux.<\/p>\n En outre, les classes ayant des \u00e9chantillons d'entra\u00eenement extr\u00eamement petits, comme le soja \u00e0 feuilles \u00e9troites (20 \u00e9chantillons), sont \u00e0 la tra\u00eene par rapport \u00e0 celles qui disposent de donn\u00e9es abondantes. La petite taille des \u00e9chantillons limite la capacit\u00e9 du mod\u00e8le \u00e0 apprendre diverses variations, telles que les diff\u00e9rences de forme des feuilles dues \u00e0 la qualit\u00e9 du sol.<\/p>\n Les recherches futures pourraient int\u00e9grer des donn\u00e9es multimodales, telles que des cartes d'\u00e9l\u00e9vation LiDAR ou des images thermiques, afin d'am\u00e9liorer la r\u00e9sistance aux ombres et aux occlusions. Le LiDAR (Light Detection and Ranging) utilise des impulsions laser pour cr\u00e9er des mod\u00e8les de terrain en 3D, qui pourraient aider \u00e0 distinguer les cultures des ombres en analysant les diff\u00e9rences de hauteur.<\/p>\n En outre, l'imagerie thermique capture les signatures thermiques, ce qui fournit des indices suppl\u00e9mentaires sur la sant\u00e9 des plantes - les cultures stress\u00e9es ont souvent des temp\u00e9ratures de canop\u00e9e plus \u00e9lev\u00e9es en raison d'une transpiration r\u00e9duite. Les techniques d'apprentissage semi-supervis\u00e9, qui exploitent des donn\u00e9es non \u00e9tiquet\u00e9es (par exemple, des images de drones sans annotations manuelles), pourraient \u00e9galement am\u00e9liorer les performances pour les types de cultures rares.<\/p>\n En utilisant la r\u00e9gularisation de la coh\u00e9rence, c'est-\u00e0-dire en entra\u00eenant le mod\u00e8le \u00e0 produire des pr\u00e9dictions stables pour des versions l\u00e9g\u00e8rement modifi\u00e9es de la m\u00eame image, les chercheurs peuvent exploiter des donn\u00e9es non \u00e9tiquet\u00e9es pour am\u00e9liorer la g\u00e9n\u00e9ralisation.<\/p>\n Enfin, le d\u00e9ploiement de CMTNet sur des appareils p\u00e9riph\u00e9riques, tels que des drones \u00e9quip\u00e9s de GPU embarqu\u00e9s, pourrait permettre une surveillance en temps r\u00e9el dans des champs \u00e9loign\u00e9s. Le d\u00e9ploiement en p\u00e9riph\u00e9rie r\u00e9duit la d\u00e9pendance \u00e0 l'\u00e9gard de l'informatique en nuage, en minimisant la latence et les co\u00fbts de transmission des donn\u00e9es. Toutefois, il faut pour cela optimiser le mod\u00e8le pour une m\u00e9moire et une puissance de traitement limit\u00e9es, \u00e9ventuellement gr\u00e2ce \u00e0 des architectures l\u00e9g\u00e8res comme MobileNet ou \u00e0 la distillation des connaissances, o\u00f9 un mod\u00e8le \u201c\u00e9tudiant\u201d plus petit imite un mod\u00e8le \u201censeignant\u201d plus grand.<\/p>\n CMTNet repr\u00e9sente une avanc\u00e9e significative dans la classification hyperspectrale des cultures. En harmonisant les CNN et les transformateurs, il rel\u00e8ve des d\u00e9fis de longue date en mati\u00e8re d'extraction et de fusion des caract\u00e9ristiques, offrant aux agriculteurs et aux agronomes un outil puissant pour l'agriculture de pr\u00e9cision.<\/p>\n Les applications vont de la d\u00e9tection des maladies en temps r\u00e9el \u00e0 l'optimisation des programmes d'irrigation, autant d'\u00e9l\u00e9ments essentiels pour une agriculture durable dans un contexte de changement climatique et de croissance d\u00e9mographique. \u00c0 mesure que la technologie des drones devient plus accessible, des mod\u00e8les comme CMTNet joueront un r\u00f4le essentiel dans la s\u00e9curit\u00e9 alimentaire mondiale.<\/p>\n Les progr\u00e8s futurs, tels que les architectures plus l\u00e9g\u00e8res et la fusion de donn\u00e9es multimodales, pourraient encore am\u00e9liorer leur praticit\u00e9. Gr\u00e2ce \u00e0 une innovation continue, CMTNet pourrait devenir une pierre angulaire des syst\u00e8mes agricoles intelligents dans le monde entier, garantissant une utilisation efficace des terres et une production alimentaire r\u00e9siliente pour les g\u00e9n\u00e9rations \u00e0 venir.<\/p>\n\u00c9valuation des performances de CMTNet sur des ensembles de donn\u00e9es hyperspectrales de drones<\/h2>\n
\n
![\"Comparaison](\"https:\/\/i0.wp.com\/geopard.tech\/wp-content\/uploads\/2025\/05\/Comparison-of-High-Resolution-Remote-Sensing-Datasets.png?resize=810%2C571&ssl=1\")
<\/p>\nCMTNet atteint une pr\u00e9cision de pointe dans la classification des cultures<\/h2>\n
![\"Performance](\"https:\/\/i0.wp.com\/geopard.tech\/wp-content\/uploads\/2025\/05\/Performance-of-CMTNet-on-Various-Datasets.png?resize=810%2C534&ssl=1\")
<\/p>\nCompromis informatiques et consid\u00e9rations pratiques<\/h2>\n
L'avenir de la classification hyperspectrale des cultures avec CMTNet<\/h2>\n
Conclusion<\/h2>\n