Безпілотні літальні апарати (БПЛА), або дрони, трансформують сучасне сільське господарство, забезпечуючи швидке спостереження за полями з висоти пташиного польоту. Вони використовуються для сканування сільськогосподарських культур на предмет стану, стадії росту, шкідників, бур'янів та оцінки врожайності. Наприклад, у Китаї зараз використовується понад 250 000 сільськогосподарських дронів, а в Таїланді до 2023 року близько 301 TP3T сільськогосподарських угідь було охоплено обприскуванням або моніторингом за допомогою дронiв. Ці БПЛА підвищують ефективність сільського господарства, швидко виявляючи проблеми (такі як спалахи шкідників або нестача води), які можна пропустити на місці.
Однак, невеликі БПЛА мають дуже обмежену обчислювальну потужність на борту та час роботи від акумулятора. Тому запуск на них складних алгоритмів штучного інтелекту в режимі реального часу є проблемою. Традиційні легкі моделі виявлення об'єктів (такі як крихітні детектори на базі YOLO або MobileNet) можуть лише частково задовольнити ці потреби: вони часто жертвують точністю або швидкістю та вимагають значного ручного налаштування. Ця прогалина стимулює використання пошуку нейронної архітектури (NAS) з урахуванням розгортання: автоматизованого методу проектування, який адаптує моделі глибокого навчання до точних вимог БПЛА, розгорнутих у польових умовах.
Сучасне точне землеробство використовує безпілотні літальні апарати (БПЛА) для обстеження полів та моніторингу стану посівів. Пролітаючи над великими площами, дрони можуть збирати зображення рослин, ґрунту та польових структур з високою роздільною здатністю. Ці зображення передаються на алгоритми комп'ютерного зору, які виявляють бур'яни серед посівів, оцінюють врожайність (наприклад, підраховують плоди чи головки) або виявляють ранні ознаки хвороб чи дефіциту поживних речовин. Наприклад, дрони дозволяють цілеспрямовано обприскувати гербіцидами ділянки з бур'янами, зменшуючи використання хімікатів та витрати.
Однак, невеликі бортові комп'ютери в дронах (часто обмежені кількома ватами потужності) мають труднощі з роботою великих нейронних мереж на швидкості польоту. Це ускладнює аналіз у реальному часі: якщо дрон виявляє проблему, йому потрібно швидко реагувати або реєструвати дані, перш ніж розрядиться батарея. Сучасні легкі детектори (наприклад, YOLOv8 nano, YOLO-tiny, MobileNets) розробляються вручну та часто передбачають компроміси: зменшення розміру моделі пришвидшує її роботу, але може негативно вплинути на точність.
Як наслідок, існує велика потреба в методах, які автоматично знаходять найкращу можливу модель з урахуванням обмежень БПЛА. NAS з урахуванням розгортання відповідає цій потребі, шукаючи архітектури нейронних мереж, які спільно оптимізують точність виявлення та використання ресурсів (затримка, потужність, пам'ять) в реальних умовах БПЛА. Такий підхід може створювати спеціалізовані моделі, які ефективно працюють на обладнанні дронів, але залишаються високоточними для завдань моніторингу врожаю.
Вимоги до виявлення об'єктів БПЛА при моніторингу сільськогосподарських культур
Сільськогосподарські БПЛА виконують низку завдань візуального виявлення, кожне з яких має свої власні вимоги:
1. Виявлення стану здоров'я врожаю та стресу: Дрони використовують RGB, тепловізійні або мультиспектральні камери для виявлення стресованих рослин, дефіциту поживних речовин або симптомів хвороб. Алгоритми в режимі реального часу можуть відображати мінливість поля, керуючи зрошенням або удобренням. Точне виявлення ознак стресу рослин дозволяє своєчасно втручатися для збереження врожаю.
2. Ідентифікація бур'янів: Виявлення бур'янів серед посівів дозволяє фермерам обприскувати лише небажані рослини, заощаджуючи гербіциди. Наприклад, у дослідженні бавовняних полів використовувалися знімки БПЛА з детектором на основі YOLOv7, і було досягнуто точності близько 83% у відділенні бур'янів від бавовни. Однак розрізнити візуально схожі бур'яни та посіви залишається складним завданням на захаращених зображеннях полів.
3. Виявлення шкідників та хвороб: Безпілотні літальні апарати можуть виявляти спалахи (наприклад, сарану, комах або грибкове ураження) раніше, ніж люди, що йдуть пішки. Дрони також підтримують картографування зон, заражених шкідниками, за допомогою багатоспектрального зображення, яке покращує зображення лише за допомогою RGB. Швидке та точне виявлення шкідників має вирішальне значення для запобігання поширенню.
4. Оцінка врожайності: Підрахунок плодів, качанів зерна або рослин з повітря допомагає передбачити обсяги врожаю. Моделі, навчені виявляти яблука, дині або качани пшениці на зображеннях з БПЛА, можуть пришвидшити оцінку врожайності. Наприклад, нейронні мережі на зображеннях з дронів використовувалися для підрахунку врожаю кавунів та динь на полях.
5. Геодезія та картографія: Дрони також створюють карти полів (топографія, відмінності ґрунту), які допомагають планувати обробіток. Хоча це не є суто виявленням об'єктів, це є частиною моніторингу БПЛА.
Ці завдання часто вимагають логічного висновку майже в реальному часі: дрону, що пролітає над полями, може знадобитися обробляти відеокадри на льоту (кілька кадрів за секунду), щоб рішення щодо керування (такі як коригування висоти або активація обприскувача) можна було приймати негайно. В інших випадках невеликі затримки (секунди) можуть бути прийнятними, якщо дані реєструються та аналізуються після посадки.
Важливо, що зір БПЛА повинен враховувати мінливість навколишнього середовища: яскраве сонячне світло, тіні, розмиття руху, спричинене вітром, перекриття листям, що перекриваються, або зміни висоти та кута. Розміри об'єктів різняться (бур'яни на близькій відстані проти віддалених скупчень шкідників), тому детектори повинні враховувати багатомасштабні особливості.
Зрештою, сільськогосподарські місії БПЛА передбачають суворі компроміси між точністю, затримкою та енергоспоживанням. Висока точність виявлення необхідна, щоб не пропустити бур'яни чи шкідників, але робота дуже глибокої мережі може швидко розрядити акумулятор. Тому модель виявлення повинна бути швидкою та енергоефективною, але водночас достатньо точною для виконання завдання. Ці суворі вимоги підкреслюють, чому для БПЛА в сільському господарстві необхідна спеціалізована розробка моделей.
Легкі детектори об'єктів для платформ БПЛА
Легкі детектори об'єктів – це нейронні мережі, спеціально розроблені для роботи на обмеженому обладнанні. Вони часто використовують невеликі магістралі (наприклад, MobileNet або ShuffleNet), зменшену ширину шарів або спрощену конструкцію типу "шийка/головка". Наприклад, моделі сімейства YOLO включають "нано" та "крихітні" версії (наприклад, YOLOv8n, YOLOv5s), які мають менше параметрів і вимагають менше операцій (FLOP).
Такі детектори можуть працювати зі швидкістю десятки кадрів на секунду на вбудованому обладнанні, такому як NVIDIA Jetson Nano або Google Coral. Наприклад, Ag-YOLO був спеціалізованим детектором на базі YOLO для пальмових плантацій, який працював зі швидкістю 36,5 кадрів на секунду на Intel Neural Compute Stick 2 (використовуючи лише 1,5 Вт) та досягав високої точності (F1 = 0,9205). Ця модель використовувала приблизно в 12 разів менше параметрів, ніж YOLOv3-Tiny, при цьому подвоюючи свою швидкість.
Ці приклади показують компроміси в розробці моделі: зменшення розміру або складності моделі (наприклад, менше шарів або каналів) зазвичай пришвидшує логічний висновок і зменшує споживання енергії, але може знизити точність. Ag-YOLO пожертвував деякими можливостями, щоб отримати швидкість та ефективність, але все ж зберіг високий бал F1 0,92 за своє завдання.
Аналогічно, три варіанти YOLOv7 порівнювалися для виявлення бур'янів: повний YOLOv7 досяг точності 83%, тоді як менший YOLOv7-w6 знизився до точності 63%. Це ілюструє обмеження універсальних легких детекторів: моделі, налаштовані для одного середовища або типу об'єкта, можуть працювати гірше в іншому. Детектор, зменшений для швидкості, може пропускати ледь помітні сигнали (наприклад, дрібні або замасковані бур'яни), що знижує його надійність за різних умов.
У сільському господарстві ці універсальні легкі мережі можуть бути неоптимальними без подальшого налаштування. Наприклад, модель YOLOv7, попередньо навчена на загальних наборах даних, може не ідеально обробляти унікальні текстури та масштаби зображень сільськогосподарських культур. Отже, існує потреба в оптимізації архітектури моделі для конкретних завдань та платформ. Ручне налаштування (зміна шарів, фільтрів тощо) для кожного нового типу дрона або сорту сільськогосподарських культур є трудомістким. Це спонукає автоматизовані методи, такі як NAS з урахуванням розгортання, знаходити найкращий баланс розміру, точності та надійності для заданої платформи БПЛА та сільськогосподарського застосування.
Пошук нейронної архітектури в системах зору на основі БПЛА
Пошук нейронної архітектури (NAS) – це автоматизований метод проектування архітектур нейронних мереж. Замість ручного встановлення кількості шарів, фільтрів та з'єднань, NAS використовує алгоритми (навчання з підкріпленням, еволюційні методи або градієнтний пошук) для дослідження простору можливих конструкцій та пошуку тих, які оптимізують обрану мету (наприклад, точність).
NAS вже застосовувався для створення мобільних мереж. Наприклад, MnasNet від Google був піонером у сфері NAS, що враховує особливості платформи та безпосередньо враховував реальну затримку пристрою в цільовому показнику. MnasNet вимірював час виведення на телефоні Google Pixel для кожної моделі-кандидата під час пошуку та збалансовував точність відповідно до цієї виміряної затримки. Результатом стало сімейство CNN, які були одночасно швидкими та точними на мобільному обладнанні, перевершуючи моделі MobileNet та NASNet, розроблені вручну, на ImageNet.
Однак, універсальні підходи NAS, такі як MnasNet, зосереджені на загальних завданнях зору (класифікація ImageNet або виявлення COCO) та загальному обладнанні (наприклад, мобільні телефони). Для моніторингу посівів за допомогою БПЛА проблема є більш спеціалізованою. Нам потрібні детектори, оптимізовані для певних класів об'єктів (рослини, бур'яни, шкідники) та адаптовані до датчиків та профілю польоту БПЛА. Стандартна NAS, яка оптимізує лише точність або загальну затримку, може не враховувати такі нюанси, як виявлення малих об'єктів або енергетичні обмеження.
Крім того, традиційні методи NAS можуть бути дуже обчислювально ресурсоємними (часто вимагаючи днів роботи на великих кластерах GPU), що не завжди практично для дослідників у сільському господарстві. Тому для роботи з БПЛА потрібні специфічні NAS-платформи. Вони повинні включати критерії, що стосуються БПЛА, та бути максимально ефективними.
У всіх випадках усвідомлення обмежень є критично важливим: NAS повинна знати про обмеження цільового пристрою (подібно до MnasNet) та вимоги до завдань БПЛА в режимі реального часу під час польоту. Якщо пошук занадто повільний або ігнорує споживання енергії, отримана модель може насправді не працювати належним чином у польових умовах.
На практиці, NAS для бачення БПЛА включатиме апаратну затримку та енергію безпосередньо в метрику пошуку. Наприклад, можна виміряти частоту кадрів кандидатного детектора на реальному комп'ютері дрона (наприклад, NVIDIA Jetson) та використовувати це як оцінку. Це відрізняється від використання простих проксі-меток, таких як FLOP, які не відображають реальну швидкість.
Таким чином, NAS може виявляти архітектури, які найкраще використовують можливості пристрою. Підсумовуючи, NAS пропонує спосіб автоматичного проектування детекторів для БПЛА, але його необхідно адаптувати з урахуванням специфічних для БПЛА завдань та вимог до ефективності.
NAS з урахуванням розгортання: основні принципи
NAS з урахуванням розгортання розширює NAS з урахуванням апаратного забезпечення, включаючи контекст розгортання та обмеження середовища в процес проектування. Іншими словами, він враховує не лише апаратне забезпечення дрона (швидкість процесора/графічного процесора, обмеження пам'яті, енергетичний бюджет), але й те, з чим БПЛА фактично зіткнеться в польових умовах. Це означає явну оптимізацію таких показників, як затримка виведення на цільовому пристрої, споживання енергії та обсяг пам'яті, одночасно прагнучи високої точності виявлення.
Наприклад, під час NAS можна було б розгорнути кожну модель-кандидат на Jetson Nano, прикріпленому до БПЛА, та записати її реальний час логічного аналізу та споживання енергії. Цей емпіричний зворотний зв'язок допомагає спрямувати пошук моделей, які дійсно відповідають критеріям розгортання.
NAS, що орієнтований на апаратне забезпечення (наприклад, MnasNet), зосереджується на метриках пристрою, тоді як NAS, що орієнтований на розгортання, йде далі: він може враховувати характеристики вхідних даних датчиків (наприклад, роздільну здатність зображення, багатоспектральні канали) та цільові показники затримки програми (необхідна кількість кадрів за секунду). Він навіть може враховувати обмеження польоту, такі як максимально допустимий обсяг пам'яті, або включати оцінки за умов імітації коливань вітру або розмиття руху.
NAS, що враховує особливості розгортання, може негативно вплинути на архітектури, які перевищують, скажімо, 5 Вт споживання енергії або потребують більше пам'яті, ніж має дрон. Таким чином, пошук природно зміщується в бік практичних моделей для польової експлуатації БПЛА. По суті, NAS, що враховує особливості розгортання, полягає в тому, щоб замкнути цикл між проектуванням моделі та реальним використанням. Замість того, щоб вибирати архітектуру окремо та сподіватися, що вона працюватиме, він систематично включає тестування реальних пристроїв під час пошуку.
Наприклад, Керек та ін. (2026) використали таку структуру для пошуку детектора БПЛА: вони побудували її на базовій лінії YOLOv8n, але включили до пошуку затримку та енергію Jetson Nano. Отримана модель мала на 37% менше GFLOP та на 61% менше параметрів, ніж YOLOv8n, зі зниженням mAP лише на 1.96%. Це чітко показує, як обмеження розгортання спрямували NAS до набагато легшої та швидшої мережі.
Роль NAS з урахуванням розгортання в моніторингу точного землеробства
NAS з урахуванням розгортання може значно покращити моніторинг посівів за допомогою БПЛА, адаптуючи детектори до сільськогосподарських умов. Наприклад, пошук може сприяти архітектурам, які чудово виявляють невеликі, тонкі об'єкти (наприклад, вузькі бур'яни або тонкі паростки кукурудзи) або розрізняють рослини від фону ґрунту. Він може налаштувати глибину мережі та рецептивні поля відповідно до типової висоти польоту: на низькій висоті об'єкти заповнюють зображення та можуть вимагати дрібної деталізації, тоді як на більшій висоті мережа повинна добре виявляти дрібні об'єкти. NAS з урахуванням розгортання може закодувати ці вимоги у свій простір пошуку.
Швидкість має вирішальне значення в польових умовах. Уявіть, що дрон виявляє спалах шкідників; якщо модель достатньо швидка, щоб обробляти відео, скажімо, зі швидкістю 30 кадрів в секунду, вона може попередити пілота або ініціювати негайні дії з обробки. У тестах модель, розроблена NAS, працювала на 28% швидше на Jetson Nano, ніж стандартний YOLOv8n, завдяки своїй оптимізованій архітектурі. Вона також використовувала на 18.5% менше енергії під час роботи ONNX, а це означає, що дрон може літати довше на одному акумуляторі. Ці переваги роблять прийняття рішень під час польоту більш здійсненним та збільшують тривалість місії.
Ще однією перевагою є надійність. Оскільки NAS з урахуванням розгортання передбачає оцінку фактичного пристрою, пошук може включати тести за різних умов. Наприклад, він може імітувати низьку освітленість або включати навчальні зображення світанку та сутінків, що гарантує, що кінцевий детектор підтримуватиме точність за реальних змін погоди та освітлення. Робота продемонструвала, що детектор, отриманий на базі NAS, добре узагальнювався: його протестували на двох різних наборах даних про сільськогосподарські культури (головки пшениці та розсада бавовни) та виявили високу продуктивність в обох випадках.
Це свідчить про те, що NAS з урахуванням розгортання допомогла знайти спільні, корисні функції для сільського господарства, покращивши узагальнення на нові поля. Загалом, NAS з урахуванням розгортання допомагає збалансувати точність із довшим часом польоту. Завдяки скороченню обчислень, дрони споживають менше енергії та можуть охоплювати більшу площу на одному заряді батареї, водночас надійно виявляючи посіви та шкідників.
Дизайн пошукового простору для детекторів сільськогосподарських БПЛА
Важливою частиною NAS, що орієнтована на розгортання, є простір пошуку – набір можливих мережевих конструкцій, які вона розглядає. Для детекторів посівів БПЛА простір пошуку може бути створений таким чином, щоб включати перспективні архітектури для цієї області. Ключові частини включають:
1. Конструкція магістралі: Основою є екстрактор ознак. Для БПЛА можна використовувати легкі згорткові структурні блоки, такі як згортки, що розділяються по глибині (як використовуються в MobileNet), або інвертовані залишкові блоки. Інвертовані залишки та лінійні вузькі місця (стиль MobileNetV2) добре відомі завдяки мобільній ефективності. Простір пошуку може дозволяти змінювати ширину (кількість каналів) та глибину кожного блоку відповідно до обчислювального бюджету БПЛА. Також можна включити модулі уваги або трансформаторного типу, якщо БПЛА може собі їх дозволити при низькому енергоспоживанні.
2. Дизайн грифа: Багато детекторів об'єктів використовують піраміди ознак (FPN) або мережі агрегації шляхів для об'єднання багатомасштабних ознак. Пошук може досліджувати спрощені FPN або полегшену агрегацію ознак. Наприклад, використання одномасштабної головки проти багатомасштабних головок може бути варіантом. Цей простір може дозволити об'єднання шарів або пропуск з'єднань, що допомагає виявляти об'єкти різних розмірів.
3. Конструкція головки: Головка детектування (класифікаційні шари та шари блочної регресії) також може бути різноманітною. Для БПЛА, що досліджують однорідні поля, може бути достатньо простішої головки. Але щоб виявити дрібні "бур'яни", пошук може включати додаткові згорткові шари або різні схеми прив'язки.
4. Легкі операції: Простір пошуку може явно дозволяти лише низьковитратні операції. Наприклад, вибір між перетворювачем 3×3 та дешевшим факторизованим перетворювачем 1×3+3×1, або включення модулів GhostNet. Він також може дозволяти малі розміри ядра або зменшені розмірності для обмеження обчислень. Всі ці варіанти залежать від апаратного забезпечення. Простір може забороняти будь-яку конфігурацію шарів, яка перевищує ліміт пам'яті дрона або очікуваний поріг енергії.
Завдяки ретельному проектуванні цього простору пошуку, процес NAS спрямовується до ефективних, але водночас результативних архітектур. Результатом може бути нова комбінація блоків, яка не враховується у стандартних моделях. Найкраще знайдений детектор використовував користувацький вибір блоків, який зменшував GFLOP на 37% та параметри на 61% порівняно з YOLOv8n.
Це стало можливим завдяки тому, що NAS могла комбінувати та поєднувати основні та головні елементи в рамках обмежень БПЛА. Таким чином, область пошуку сільськогосподарських детекторів БПЛА зосереджена на масштабованих, легких структурних блоках та багатомасштабній обробці, і все це в межах можливостей бортового обладнання.
Цілі та обмеження оптимізації
NAS, що орієнтований на розгортання, повинен поєднувати в собі кілька цілей. Основною метою зазвичай є точність виявлення (наприклад, середня середня точність, mAP), виміряна на наборах даних моніторингу сільськогосподарських культур. Наприклад, mAP@50 (точність на рівні 50% IOU) є поширеним показником. Модель, оптимізована для NAS, мала падіння mAP@50 лише на 1,96% порівняно з базовим YOLOv8n, що є дуже невеликою втратою порівняно з досягнутими перевагами. Також враховуються точність і повнота (або показник F1) для ключових класів (бур'яни, сільськогосподарські культури).
Водночас необхідно оптимізувати затримку та енергоспоживання. Затримка – це час виведення даних на одне зображення; для вбудованого графічного процесора це може бути 20–50 мс або більше. Менша затримка означає вищу частоту кадрів. Споживання енергії (джоулі на кадр) має вирішальне значення для тривалості польоту. Обсяг пам'яті (кількість параметрів, розмір моделі) є ще одним обмеженням; моделі повинні поміщатися в оперативну пам'ять пристрою. Тому NAS зазвичай встановлює ціль або штраф для цих обмежень.
Наприклад, будь-яка модель, повільніша за певний поріг або перевищує бюджет параметрів, може бути понижена в рейтингу. Це фактично перетворює NAS на багатоцільову оптимізаційну задачу: максимізувати точність, мінімізуючи затримку, енергоспоживання та розмір.
Практично це можна зробити за допомогою зваженої суми цілей або жорстких обмежень. Деякі методи надають великий штраф будь-якому кандидату, який перевищує ліміт потужності БПЛА. Інші явно обчислюють метрику енергії: моделі були протестовані в середовищі виконання ONNX для вимірювання “енергоефективності”, і найкраща модель виявилася на +18.5% енергоефективнішою, ніж YOLOv8n. Це було однією з цілей, що спрямовували їхній пошук.
Знайдені компроміси можна візуалізувати на межі Парето: з одного боку, надзвичайно швидкі малі моделі з нижчою точністю; з іншого боку, великі точні моделі, які є занадто повільними або енергоємними для дрона. NAS, орієнтована на розгортання, прагне знайти золоту середину на цій межі, яка відповідає реальним пріоритетам місії (наприклад, незначна втрата точності за великого прискорення). Підсумовуючи, NAS повинна враховувати показники точності (mAP, F1) та обмеження логічного висновку (мс на кадр, джоулі на кадр, пам'ять) разом. Ця збалансована оптимізація робить модель справді готовою до розгортання для використання БПЛА.
Навчання та оцінювання в реалістичних сільськогосподарських умовах
Щоб детектори, знайдені за допомогою NAS, добре працювали, їх необхідно навчити та протестувати на реалістичних сільськогосподарських даних. Це означає використання наборів даних, які фіксують мінливість реальних полів: різні види сільськогосподарських культур, стадії росту, пори року, умови освітлення та висоти над рівнем моря. Наприклад, навчання на зображеннях лише молодих пагонів кукурудзи може не поширюватися на зрілі головки пшениці. Репрезентативні набори даних для полів гарантують, що модель вивчає особливості, які мають значення на фермі. Доповнення даних (випадкові культури, зміни яскравості, розмиття руху) також може бути застосоване під час навчання для імітації руху та освітлення дрона.
Під час оцінювання важливо протестувати модель у максимально реальних умовах. Інструменти моделювання можуть допомогти (наприклад, політ віртуального дрона над 3D-полями), але реальні льотні випробування є золотим стандартом. Бортовий бенчмаркінг виконується шляхом запуску моделі на реальному обладнанні БПЛА. Після NAS вони розгорнули кандидата на Jetson Nano та виміряли на 28.1% швидший висновок (порівняно з базовим YOLOv8n) та краще енергоспоживання. Такий зворотний зв'язок з реальним пристроєм підтверджує, що пошук створив модель, яка дійсно відповідає вимогам.
Узагальнення також є критично важливим. Модель можна знайти та навчити на одній культурі (наприклад, пшениці), але фермерам потрібні детектори, які працюють на різних полях. Дослідження продемонструвало сильну міжкультурну генералізацію: детектор, отриманий на основі NAS, навчений на одному завданні, все ще добре працював на іншому наборі даних про культури (саджанці бавовни) без перенавчання. Це свідчить про те, що NAS з урахуванням розгортання може створювати надійні архітектури. Однак зміни доменів (наприклад, перехід з кукурудзяних полів у сади) все ще можуть вимагати точного налаштування або подальшого пошуку. Також рекомендується проводити міжсезонне тестування (літні та осінні знімки).
Зрештою, кожну нову модель слід протестувати на платформі БПЛА перед розгортанням. Це включає реєстрацію її точності та швидкості на дронах, забезпечення відсутності перегріву обладнання та перевірку споживання енергії. Тільки тоді фермери можуть довіряти їй для критично важливого моніторингу. Поєднуючи навчання, що відповідає польовим вимогам, та ретельну оцінку обладнання, NAS, що враховує особливості розгортання, забезпечує детектори, які не лише теоретично ефективні, але й перевірені в польових умовах.
Переваги перед детекторами БПЛА ручної розробки
NAS з урахуванням розгортання пропонує кілька очевидних переваг порівняно з традиційними, вручну розробленими моделями для БПЛА:
1. Компроміси щодо кращої продуктивності: Моделі, знайдені за допомогою NAS, як правило, забезпечують вищі комбінації точності, швидкості та енергоефективності. Наприклад, найкраща модель працювала на 28% швидше та використовувала на 18.5% менше енергії на Jetson Nano, ніж обрана вручну базова модель YOLOv8n, при цьому втрачаючи лише ~2% у mAP виявлення. Досягти такого балансу вручну було б дуже складно.
2. Покращене узагальнення: Моделі, виявлені NAS, можуть бути краще адаптованими до нових умов, оскільки пошук може включати різноманітні дані або цілі. Автоматично розроблений детектор добре узагальнюється для різних типів культур (пшениці та бавовни) та умов освітлення. Ця широка стійкість є критично важливою, коли польоти стикаються з неочікуваними сценами.
3. Зменшення інженерних зусиль: NAS автоматизує багато спроб і помилок. Замість ручного налаштування розмірів шарів і тестування багатьох кандидатів, NAS з урахуванням можливостей розгортання ітеративно досліджує варіанти та знаходить найкращий дизайн для вас. Це економить час розробки та досвід, що спрощує оновлення детекторів для нових завдань або обладнання.
4. Масштабованість: Після налаштування, фреймворк NAS можна використовувати для різних платформ або місій БПЛА. Наприклад, той самий NAS, що враховує розгортання, може шукати детектор, налаштований на іншу роздільну здатність камери або модель дрона, просто змінюючи вхідні обмеження. Це набагато масштабованіше, ніж перепроектування мереж з нуля для кожного сценарію.
Проблеми та обмеження
NAS з урахуванням розгортання — потужна система, але не чарівна паличкою. Її слід використовувати продумано, з урахуванням вимог до ресурсів та мінливості цільового середовища. Незважаючи на свою перспективність, NAS з урахуванням розгортання має свої проблеми:
1. Висока вартість пошуку: NAS може вимагати значних обчислень. Навіть з ефективними алгоритмами пошук у просторі архітектури може зайняти багато годин на графічному процесорі (або спеціалізованих обчисленнях). Якщо не керувати цими ресурсами ретельно, вони можуть бути непомірними для деяких команд.
2. Зміщення даних та зміщення домену: NAS настільки ж хороший, як і дані, що використовуються. Якщо навчальні зображення не відображають польові умови, знайдена архітектура може працювати неефективно в реальності. Наприклад, модель, налаштована на один тип культури або один географічний регіон, може не ідеально переноситися на інший без подальшої адаптації.
3. Різнорідність апаратного забезпечення: Апаратне забезпечення БПЛА буває різних видів (різні вбудовані графічні процесори, центральні процесори, FPGA). Модель, оптимізована для однієї плати, може не бути оптимальною на іншій. NAS, що враховує розгортання, повинен або повторно виконувати пошук для кожної платформи, або використовувати консервативні обмеження, які підходять усім, що може обмежити продуктивність.
4. Практичні обмеження: Реальне впровадження сільськогосподарських робіт пов'язане з такими питаннями, як оновлення мережі по бездротовій мережі, системна інтеграція з управлінням польотом та сертифікація безпеки. Навіть найкраща модель NAS має бути інтегрована в повноцінну систему дронів. Координація оновлень моделі, отримання регуляторних схвалень та навчання фермерів – це нетехнічні перешкоди.
Майбутні напрямки
У майбутньому, ймовірно, відбудеться ще тісніша інтеграція проектування моделей, сенсорних технологій та керування БПЛА. NAS з урахуванням розгортання залишатиметься ключовим інструментом у цьому процесі спільного проектування. Заглядаючи вперед, з'являється кілька захопливих напрямків:
1. Онлайн та адаптивна NAS: Замість одноразового пошуку в автономному режимі, майбутні системи можуть налаштовувати мережу в режимі реального часу або між польотами. Наприклад, дрон може починати з базової моделі та, використовуючи легкі алгоритми NAS, налаштовуватися для обробки нового освітлення або умов місцевості на льоту. Такий “NAS на пристрої” є дуже складним, але може значно покращити адаптивність.
2. Спільне проектування датчиків та моделей: Майбутні системи точного землеробства могли б спільно оптимізувати вибір камери (RGB, мультиспектральної, інфрачервоної) та нейронної мережі. NAS з урахуванням розгортання може бути розширена, щоб включати параметри датчиків (наприклад, використовувані спектральні діапазони) у свій пошук, знаходячи найкраще поєднання апаратного забезпечення та моделі.
3. Мультиспектральна/гіперспектральна інтеграція: Як показує дослідження хвороб бавовни, інтеграція мультиспектральних зображень може покращити виявлення, особливо проблем на ранніх стадіях. Майбутні NAS можуть досліджувати багатопотокові моделі, які поєднують RGB та ближній інфрачервоний канали для більш надійного виявлення незначних змін у рослинах.
4. Автономні конвеєри рішень: Зрештою, детектори, оптимізовані для NAS, можуть забезпечити повну автономію. Наприклад, дрон може автоматично генерувати план обприскування або сповіщати керівників ферм, якщо виявляє певні умови. NAS з урахуванням розгортання можна розширити до наскрізних конвеєрів (моделі виявлення + дії), оптимізуючи всю систему.
5. Етичні та екологічні міркування: Оскільки безпілотні літальні апарати стають більш потужними, ми повинні враховувати конфіденційність, безпеку повітряного простору та вплив на сільськогосподарську працю (як зазначають Агравал і Арафат). Забезпечення відповідального використання дронів, оптимізованих для NAS, у сільському господарстві є важливою метою на майбутнє.
Висновок
NAS з урахуванням розгортання являє собою потужний підхід до адаптації легких детекторів об'єктів для моніторингу сільськогосподарських культур на основі БПЛА. Вбудовуючи апаратне забезпечення БПЛА та обмеження місії в пошук, він створює моделі, які економлять обчислення та енергію без значних жертв для точності. Наприклад, нещодавня робота показала, що детектор, розроблений NAS, використовує на 37% менше FLOP та на 61% менше параметрів, ніж еталонний YOLOv8n, проте його mAP знизився лише на ~2%.
На реальному обладнанні дронів це означало швидший логічний висновок для 28% та кращу енергоефективність для 18%. Такі переваги призводять до збільшення часу польоту, швидшого аналізу та кращої реагування на підтримку сільського господарства. Порівняно з моделями, створеними вручну, NAS з урахуванням розгортання забезпечує краще узагальнення продуктивності, менше зусиль на ручне налаштування та масштабованість до нових платформ БПЛА.
У контексті точного землеробства ці вдосконалення можуть зробити моніторинг посівів за допомогою БПЛА більш практичним та ефективним. Дрони, оснащені детекторами, оптимізованими для NAS, можуть надійніше виявляти бур'яни, шкідників або стрес, що дозволяє своєчасно втручатися, щоб заощадити ресурси та підвищити врожайність. Оскільки сільське господарство продовжує впроваджувати дрони та штучний інтелект, NAS з урахуванням можливостей розгортання відіграватиме центральну роль у забезпеченні ефективності, точності та готовності моделей, що працюють на цих дронах. Це скорочує розрив між передовими дослідженнями нейронних мереж та практичними потребами фермерів, допомагаючи просувати майбутнє точного землеробства на основі даних.






































