Введение
Обучение с подкреплением (reinforcement learning, RL) представляет собой парадигму машинного обучения, при которой агент формирует стратегию поведения путём многократного взаимодействия со средой и получения сигнала вознаграждения. В отличие от классических регуляторов, требующих точной математической модели объекта, RL-подход позволяет синтезировать управление на основе данных, что особенно ценно в условиях неопределённости, когда параметры среды изменяются динамически.
Исследование, выполненное в МТИ (МосТех), посвящено применению RL для управления квадрокоптером. Актуальность работы обусловлена расширением сфер использования беспилотных летательных аппаратов: мониторинг инфраструктуры, логистические задачи, сельское хозяйство, промышленная инспекция. Во всех перечисленных сценариях присутствует фактор неопределённости — порывы ветра, турбулентность, изменение массы груза, частичный отказ датчиков.
Выпускная квалификационная работа по данной тематике охватывает теорию марковских процессов принятия решений, архитектуру глубоких нейронных сетей, методы оптимизации политики и вопросы экспериментальной валидации. Объём материала велик, поэтому подготовка дипломной работы по RL требует систематизированного подхода и значительных временных затрат.
Задача управления квадрокоптером
Квадрокоптер — это летательный аппарат с четырьмя несущими винтами, управление которым осуществляется путём изменения скоростей вращения каждой пары роторов. Динамическая модель квадрокоптера описывается системой нелинейных дифференциальных уравнений, связывающих угловые скорости вращения винтов с линейными и угловыми ускорениями корпуса. В условиях реальной эксплуатации модель усложняется за счёт аэродинамических эффектов, упругости рамы и задержек в каналах управления.
Классический подход к управлению квадрокоптером основан на каскадной структуре ПИД-регуляторов: внутренний контур стабилизирует угловое положение, внешний — обеспечивает отслеживание требуемой траектории. ПИД-регулятор хорошо зарекомендовал себя в условиях малых отклонений от рабочей точки, однако при значительных возмущениях, изменении полезной нагрузки или отказе одного из винтов его эффективность снижается.
Обучение с подкреплением предлагает альтернативный путь: агент обучается политике управления непосредственно на основе опыта, минимизируя функцию затрат. В качестве состояния рассматриваются показания инерциального измерительного блока, гироскопа, акселерометра и магнитометра; действие — заданные скорости вращения винтов; вознаграждение — функция от ошибки стабилизации и энергии управления.
В условиях неопределённости RL-агент способен вырабатывать робастные стратегии, учитывающие не только текущее состояние, но и историю наблюдений. Это достигается за счёт использования рекуррентных нейронных сетей или механизмов внимания в архитектуре политики. Критически важным аспектом является выбор функции вознаграждения — она должна отражать компромисс между точностью следования траектории и энергопотреблением.
Прикладное значение задачи подтверждается использованием квадрокоптеров для инспекции промышленных объектов. Дрон, оснащённый камерой, выполняет облёт конструкций и фиксирует дефекты: трещины, коррозию, повреждения покрытия. Детектирование аномалий требует стабильного положения аппарата относительно обследуемой поверхности, что невозможно без качественного управления. Подробнее о распознавании визуальных аномалий можно прочитать в материалах о применении методов компьютерного зрения для анализа промышленных изображений. Также стоит изучить публикации по созданию систем распознавания дефектов на металлических поверхностях, поскольку интеграция таких решений с квадрокоптером расширяет функциональность беспилотной платформы.
Обучение с подкреплением в симуляторе
Непосредственное обучение RL-агента на реальном квадрокоптере сопряжено с высокими рисками: падение аппарата, повреждение оборудования, небезопасные режимы полёта. Поэтому на первом этапе политика обучается в симуляционной среде. В качестве платформ используются Gazebo, AirSim, Flightmare, pybullet, а также специализированные библиотеки для RL — OpenAI Gym, Stable-Baselines3, RLlib.
Симулятор позволяет воспроизвести динамику полёта с учётом аэродинамического сопротивления, шумов сенсоров, ветровых возмущений и задержек управления. В рамках исследования МТИ (МосТех) среда моделирования была дополнена стохастическими возмущениями, имитирующими порывы ветра: к силе тяги и моментам добавлялись случайные компоненты с заданным распределением. Такой подход соответствует принципу домен-рандомизации, когда вариации параметров среды позволяют агенту выработать робастное поведение, переносимое на реальный аппарат.
В качестве базовых алгоритмов используются Proximal Policy Optimization (PPO), Soft Actor-Critic (SAC) и Deep Deterministic Policy Gradient (DDPG). Каждый из них обладает особенностями: PPO обеспечивает устойчивость обучения за счёт ограничения шага обновления политики; SAC максимизирует энтропийный член, что способствует более активному исследованию пространства состояний; DDPG применяется для непрерывных пространств действий, характерных для управления летательными аппаратами.
Процесс обучения требует значительных вычислительных ресурсов. Для ускорения сходимости применяются методы симметричного отображения наблюдений (что позволяет сократить размерность пространства состояний), параллельный запуск нескольких сред, использование графических процессоров.
При обучении в симуляторе важно корректно задать функцию вознаграждения. В работе МТИ (МосТех) предлагается аддитивная структура: отрицательное вознаграждение пропорционально квадрату ошибки стабилизации, дополнительные штрафы накладываются за превышение допустимых углов крена и тангажа, а также за резкие изменения управления. Правильно сформированная функция поощрения определяет качество итоговой политики в большей степени, чем выбор алгоритма оптимизации.
Отдельное внимание уделяется моделированию динамики объекта. Сравнение с классическим ПИД-регулятором проводится по метрикам интегральной квадратичной ошибки и времени переходного процесса. Дополнительно рассматриваются статьи о регулировании температуры, где применяются схожие подходы к идентификации моделей и настройке регуляторов, например публикации о внедрении систем автоматизации процессов нагрева и о ПИД-контроллерах.
Перенос политики на реальный дрон
Ключевой проблемой применения RL в робототехнике является расхождение между симуляцией и реальностью — так называемый sim-to-real gap. Агент, обученный исключительно в виртуальной среде, может демонстрировать неудовлетворительное поведение на реальном аппарате из-за неточности моделей динамики, различий в характеристиках сенсоров и задержек в системе управления.
Для преодоления этого разрыва применяются несколько стратегий. Первая — домен-рандомизация: в симуляторе случайным образом варьируются параметры модели (масса, коэффициенты аэродинамического сопротивления, характеристики двигателей). Агент вынужден адаптироваться к разнообразным условиям, и в результате его политика становится инвариантной к вариациям параметров реального аппарата.
Вторая стратегия — системная идентификация: перед обучением подбираются параметры модели симулятора таким образом, чтобы они максимально соответствовали поведению реального квадрокоптера. Для этого прогоняются тестовые траектории на реальном аппарате, собираются данные с датчиков и решается задача оптимизации параметров модели.
Третья стратегия — дообучение на реальном аппарате: после переноса политики из симулятора проводится дополнительное обучение с ограниченным числом эпизодов в реальных условиях. Принимаются специальные меры безопасности: ограничение скорости, зоны полёта, автоматическое переключение в безопасный режим при выходе за допустимые границы состояния.
В исследовании МТИ (МосТех) перенос политики осуществлялся на квадрокоптере класса малого размера с полётным контроллером на базе Pixhawk. Встроенное программное обеспечение позволяло выполнять внешние управляющие команды от RL-агента, работающего на отдельном одноплатном компьютере. Связь между вычислительным модулем и полётным контроллером обеспечивалась через протокол MAVLink.
Эксперименты показали, что после переноса политики, обученной с домен-рандомизацией, средняя ошибка стабилизации позиции увеличилась на 20–25% по сравнению с симуляцией, но осталась сопоставимой с результатами классического ПИД-регулятора при меньшем времени реакции на внешние возмущения. Дополнительно был проведён анализ устойчивости политики к изменению массы полезной нагрузки в диапазоне ±15% от номинальной.
Почему студентам сложно самостоятельно написать ВКР по RL
Тематика обучения с подкреплением для управления квадрокоптером находится на стыке нескольких дисциплин: теории автоматического управления, машинного обучения, мехатроники и программной инженерии. Это накладывает высокие требования к компетенциям студента.
Во-первых, необходимо свободно владеть математическим аппаратом: понимать устройство марковских процессов принятия решений, знать методы градиентного спуска и оптимизации, разбираться в теории функционалов. Во-вторых, требуется практический опыт программирования на Python, работы с фреймворками глубокого обучения (PyTorch, TensorFlow) и симуляционными средами. В-третьих, студент должен уметь планировать эксперименты, обрабатывать данные и интерпретировать результаты.
Реальный опыт показывает, что большинство студентов сталкиваются с затруднениями уже на этапе формирования постановки задачи. Чётко сформулированный исследовательский вопрос, корректно выбранные метрики и обоснованные границы исследования — это результат длительной работы с научной литературой и консультаций с научным руководителем.
Значительную сложность представляет также вычислительная часть: обучение RL-агента требует доступа к GPU-серверу, настройки окружения, управления версиями программного обеспечения. У студентов без опыта администрирования Linux и контейнеризации это может занять недели.
В таких условиях помощь в написании ВКР RL от профильных специалистов становится рациональным решением. Исполнитель, имеющий опыт в робототехнике и машинном обучении, способен выполнить работу качественно и в согласованные сроки.
Стоит также учесть, что написание выпускной квалификационной работы по RL — это не только программная реализация, но и оформление текста по ГОСТ, включая списки литературы, ссылки на источники, корректные обозначения. Совокупность требований делает процесс трудоёмким и продолжительным.
Что входит в подготовку дипломной работы
Подготовка выпускной квалификационной работы по направлению RL включает несколько последовательных этапов. Каждый из них требует проработки и документирования в тексте работы.
Аналитический обзор литературы
На этом этапе изучаются источники по теории обучения с подкреплением, методам управления БПЛА, симуляционным платформам. Результатом является обзор, в котором обосновывается актуальность исследования и формулируются задачи работы. Рекомендуется использовать не менее 50–70 источников, из них 20–30 на иностранных языках.
Теоретическая часть
Описание математической модели квадрокоптера, постановка задачи RL в терминах марковского процесса принятия решений, обоснование выбора алгоритма обучения. В эту часть включаются выводы о границах применимости используемых методов.
Проектная и исследовательская часть
Описание архитектуры программного комплекса, выбор симулятора, настройка среды, реализация алгоритма обучения. Здесь же описываются метрики, используемые для оценки качества управления, и процедура сбора экспериментальных данных.
Эмпирическая глава, в которой излагаются результаты экспериментов, должна демонстрировать сравнительный анализ предложенного RL-подхода и классического регулятора. Полезные рекомендации о структурировании этой главы изложены в методических материалах по написанию эмпирической главы выпускной квалификационной работы, которые применимы независимо от предметной области.
Оформление
Работа оформляется в соответствии с ГОСТ 7.32-2017, включает титульный лист, аннотацию, содержание, введение, основную часть, заключение, список литературы и приложения. Несоблюдение требований оформления может стать основанием для возврата работы на доработку.
Методы исследования, используемые в работах по RL
Выбор методов исследования определяется постановкой задачи и доступными ресурсами. В выпускных работах по RL наиболее часто используются следующие категории методов.
Теоретические методы включают анализ научной литературы, формализацию задачи управления, вывод условий сходимости алгоритмов обучения. Они позволяют обосновать выбор архитектуры агента и обобщить результаты для класса родственных задач.
Экспериментальные методы предполагают проведение вычислительных экспериментов в симуляторе, сбор данных о динамике системы, сравнение метрик качества. Для получения статистически значимых выводов эксперименты повторяются многократно с различными начальными условиями и уровнями возмущений.
Статистические методы применяются для обработки накопленных данных: оценка математического ожидания и доверительных интервалов для метрик, проверка гипотез о значимости различий между RL-политикой и ПИД-регулятором. В качестве инструмента используется язык Python с библиотеками SciPy и statsmodels.
Методическая база исследования может быть расширена за счёт структурных подходов, применяемых в других направлениях ВКР. Например, общие принципы выбора методов и их сочетания представлены в рекомендациях по методам исследования в выпускной квалификационной работе. Хотя материал адресован психологическим направлениям, его логика универсальна: методы должны соответствовать задачам, быть воспроизводимыми и обоснованными.
В работах, посвящённых RL, важную роль играет также анализ чувствительности параметров: исследуется влияние коэффициентов функции вознаграждения, размера пакета данных, скорости обучения на итоговое качество политики. Эти результаты включаются в табл. А.1–А.3 приложения к работе.
Требования к ВКР
Требования к выпускным квалификационным работам формируются в соответствии с федеральными государственными образовательными стандартами (ФГОС ВО) и методическими рекомендациями конкретного вуза. В общем случае выделяются следующие группы требований.
- Содержательные требования: работа должна решать актуальную задачу, обладать научной новизной или практической значимостью, содержать обоснованные выводы, соответствовать заявленной теме.
- Структурные требования: наличие титульного листа, аннотации, оглавления, введения, основной части (обычно 2–3 главы), заключения, списка использованных источников, приложений.
- Требования к объёму: для бакалаврской работы — 50–70 страниц, для магистерской диссертации — 70–100 страниц без учёта приложений.
- Требования к оригинальности: вузы устанавливают порог уникальности текста от 60% до 80% по системе «Антиплагиат.ВУЗ».
Обязательным элементом является развёрнутое введение, в котором обосновывается актуальность, формулируются цель и задачи, определяются объект и предмет исследования, гипотезы, теоретическая и практическая значимость. В заключении отражаются основные результаты, выводы и перспективы дальнейшей работы.
Типовые требования вузов к ВКР по RL
При подготовке работы по RL необходимо учитывать требования конкретного образовательного учреждения. В ведущих технических вузах — МГТУ им. Н.Э. Баумана, МФТИ, МАИ, СПбПУ, а также в МТИ (МосТех) — приняты сходные требования к структуре и содержанию выпускных квалификационных работ.
Особенностью работ инженерного профиля является обязательное включение раздела, описывающего экспериментальную установку или программный комплекс. В работах, связанных с RL, необходимо представить описание симулятора, конфигурацию вычислительного оборудования, параметры обучения агента. Рекомендуется включить диаграммы архитектуры системы в виде схем, а также графики сходимости функции потерь и визуализацию траекторий движения квадрокоптера.
Методические указания вузов часто требуют, чтобы теоретическая часть включала обзор не менее 30–40 публикаций, посвящённых непосредственно методам RL и их применению в управлении робототехническими системами. В обзоре следует проанализировать публикации из рецензируемых журналов, индексируемых в РИНЦ, Scopus и Web of Science.
Важно учитывать, что выпускная работа должна продемонстрировать владение профессиональными компетенциями. Это означает, что студент обязан не просто описать алгоритмы, но и показать понимание их внутреннего устройства, границ применимости и потенциальных ограничений. В частности, в работе по RL следует раскрыть вопросы исследования-эксплуатации (exploration–exploitation trade-off), выбора гиперпараметров и обоснования архитектуры нейронной сети.
Как выбрать тему ВКР по RL
Выбор темы — ответственный этап, определяющий весь дальнейший ход работы. Тема должна быть актуальной, соответствовать профилю подготовки и иметь достаточную информационную базу.
Первым критерием является актуальность. Тема должна отражать текущие направления развития науки и техники. В области RL для квадрокоптеров актуальными остаются вопросы адаптивного управления в условиях ветровых возмущений, учета отказов двигателей, энергоэффективного планирования траекторий, многоагентных систем. Если тема неактуальна, научный руководитель не одобрит её, а государственная экзаменационная комиссия поставит под сомнение целесообразность исследования.
Второй критерий — доступность выборки и источника данных. Для экспериментальной работы по RL необходимы симуляционные среды (AirSim, Gazebo), вычислительные ресурсы и, желательно, реальный аппарат. Если в распоряжении студента нет GPU-сервера или доступа к квадрокоптеру, целесообразно выбрать тему, допускающую выполнение в виртуальной среде с использованием публично доступных датасетов полётных данных.
Третий критерий — наличие достаточного количества источников. Перед окончательным выбором темы рекомендуется провести предварительный поиск публикаций в наукометрических базах. Если по выбранной теме найдено менее 15–20 научных работ за последние три года, это сигнал о том, что информационная база недостаточна.
Четвёртый критерий — реализуемость в установленные сроки. Следует трезво оценить временные ресурсы: обучение RL-агента может занять от нескольких дней до нескольких недель вычислительного времени. Нужно закладывать в план запас времени на доработку и форс-мажорные обстоятельства.
Пятый критерий — согласование с научным руководителем. Руководитель может предложить уточнить формулировку темы, сузить её или сместить акцент на конкретный аспект, соответствующий научной школе кафедры. Учёт рекомендаций руководителя — обязательное условие для положительного отзыва на работу.
Проверка ВКР на антиплагиат
Все выпускные квалификационные работы подлежат проверке на объём заимствований в системе «Антиплагиат.ВУЗ». Пороговое значение оригинальности устанавливается вузом и обычно составляет от 60% до 80%. В МТИ (МосТех) рекомендованный порог — не менее 70%.
Корректные заимствования в виде цитирования оформляются со ссылками на источник и попадают в список литературы. При проверке такие фрагменты исключаются из числа неправомерных заимствований. Однако следует помнить, что чрезмерное цитирование снижает общий показатель оригинальности, поэтому объём прямых цитат должен быть ограничен.
Распространённая причина низкой уникальности — перекопирование общеизвестных определений и формул из учебной литературы. Особенно часто это встречается в теоретических главах, где описываются основы RL, марковские процессы, архитектуры нейронных сетей. Чтобы повысить уникальность, необходимо переформулировать определения своими словами с сохранением смысла, используя синонимические ряды и изменение структуры предложений.
Ещё одна причина снижения оригинальности — использование готовых фрагментов текста из публикаций, включённых в базы данных антиплагиата. Это касается, например, статей на Habr, профильных интернет-ресурсов и конспектов лекций. Работа должна представлять собой авторский текст, написанный на основе осмысления источников, а не компиляцию готовых абзацев.
Технические приёмы повышения уникальности, такие как замена кириллических символов латинскими или автоматический синонимичный пересказ, запрещены. Использование таких методов классифицируется как фальсификация результатов и может привести к аннулированию допуска к защите.
Типичные ошибки при написании ВКР по RL
При подготовке выпускных квалификационных работ по RL студенты часто допускают однотипные ошибки. Знание этих ошибок позволяет избежать их и повысить качество работы.
Ошибка 1: Недостаточное обоснование выбора алгоритма RL. Часто студент выбирает PPO или SAC без анализа особенностей задачи, просто потому, что эти алгоритмы популярны. Однако для задачи с непрерывным пространством состояний и действий, ограниченным бюджетом и жёсткими требованиями к времени реакции, один алгоритм может подходить лучше другого. В тексте работы необходимо сравнить кандидатов по следующим параметрам: сэмплоэффициентность, стабильность обучения, скорость сходимости, чувствительность к гиперпараметрам.
Ошибка 2: Игнорирование специфики симулятора. Симуляция полёта может быть слишком простой (например, использование упрощённой модели в Gym-среде) или, наоборот, излишне сложной, что делает обучение нереалистично медленным. Необходимо обосновать выбор симулятора и указать его ограничения, а также описать, как эти ограничения влияют на переносимость результатов на реальный аппарат.
Ошибка 3: Неверно сформулированная функция вознаграждения. Как уже отмечалось, функция вознаграждения является центральным компонентом RL-системы. Типичная ошибка — штраф только за конечную ошибку позиционирования без учёта промежуточных состояний. Это приводит к тому, что агент не обучается или обучается крайне медленно. Функция должна быть сформулирована таким образом, чтобы на каждом шаге агент получал информативный сигнал, стимулирующий улучшение поведения.
Ошибка 4: Отсутствие сравнительного анализа с классическими регуляторами. Работа, в которой демонстрируется только работа RL-агента, но нет сравнения с ПИД-регулятором или другими классическими подходами, считается неполноценной. Комиссия ожидает, что автор покажет преимущества и недостатки RL относительно традиционных методов, интерпретируя полученные различия.
Ошибка 5: Недостаточное внимание статистической достоверности результатов. Зачастую эксперименты проводятся один раз, без повторений при различных случайных начальных условиях. Для корректных выводов необходимо повторить эксперимент минимум 10–20 раз, вычислить средние значения и стандартные отклонения метрик, а при необходимости — применить критерии значимости.
Как проходит защита ВКР
Защита выпускной квалификационной работы является публичным событием, на котором студент демонстрирует результаты исследования комиссии и гостям. От качества выступления зависит итоговая оценка, поэтому подготовке к защите уделяется особое внимание.
Основой выступления является доклад, регламент которого обычно составляет 5–7 минут. В докладе необходимо последовательно изложить актуальность работы, цель и задачи, обосновать выбор методов, представить ключевые результаты экспериментов и сформулировать выводы. Рекомендуется структурировать доклад по слайдам презентации.
Презентация — второй по важности элемент. Она должна содержать не более 10–12 слайдов, отражающих: титульный слайд с темой работы; актуальность; цель и задачи; объект и предмет исследования; обзор методов; результаты моделирования; сравнительный анализ; заключение и практическую значимость. Текст на слайдах должен быть лаконичным — не более 5–7 строк и 7–8 слов в строке.
После доклада члены комиссии задают вопросы. Вопросы могут касаться как содержательной части работы (обоснование выбора алгоритма, интерпретация графиков), так и методологии (критерии оценки, ограничения исследования). Ответы должны быть чёткими и аргументированными. Если на вопрос нет однозначного ответа, рекомендуется честно отметить это и предложить направление дальнейшего анализа.
Критерии оценки включают: актуальность темы, полноту теоретического обзора, корректность постановки
Нужна помощь с написанием статьи?