Дипломная работа 09.03.02 Информационные системы и технологии: "Применение нейронных сетей для автоматического тестирования пользовательских интерфейсов"
→ Бесплатная консультация по вашей теме: Telegram: @Diplomit Телефон/WhatsApp/MAX: +7 (987) 915-99-32, Email: admin@diplom-it.ru,
Актуальность темы в 2025 году
Современные веб- и мобильные приложения характеризуются сложными и динамически меняющимися пользовательскими интерфейсами. Поддержание актуальности и устойчивости автоматизированных UI-тестов становится крайне трудоемкой задачей. Любое изменение кнопки, селектора или макета ломает традиционные скрипты, основанные на поиске элементов по их атрибутам (ID, XPath), требуя постоянного и дорогостоящего рефакторинга.
Компьютерное зрение и нейронные сети предлагают революционный подход — визуальное тестирование. Модель, обученная распознавать элементы интерфейса так, как это делает человек (по внешнему виду, а не по коду), становится much more resilient к изменениям. Это позволяет significantly сократить усилия на поддержку тестов, повысить их надежность и в перспективе полностью automate процесс создания тестовых сценариев. Актуальность темы обусловлена растущей сложностью UI и high demand на методы, ускоряющие delivery качественного ПО.
→ Бесплатная консультация по вашей теме: Telegram: @Diplomit Телефон/WhatsApp/MAX: +7 (987) 915-99-32, Email: admin@diplom-it.ru,
Пример введения
Введение дипломной работы должно отражать боль современной автоматизации тестирования. Скорость разработки программного обеспечения постоянно растет, в то время как автоматизированное тестирование пользовательского интерфейса остается узким местом из-за своей хрупкости и высокой стоимости поддержки.
Целью данной работы является исследование возможностей применения сверточных нейронных сетей для автоматического распознавания элементов пользовательского интерфейса и создание прототипа системы для визуального тестирования.
Для достижения цели необходимо решить ряд задач. Объектом исследования является процесс автоматизированного тестирования графического пользовательского интерфейса. Предметом исследования — методы компьютерного зрения и глубокого обучения для детекции и классификации UI-элементов.
Цель и задачи исследования
Цель: Разработать и обучить модель нейронной сети для распознавания элементов UI и интегрировать ее в прототип фреймворка для визуального тестирования.
Задачи:
- Провести анализ существующих методов и инструментов автоматизации UI-тестирования (Selenium, Cypress) и выявить их limitations.
- Собрать и разметить датасет скриншотов веб-страниц с выделенными основными элементами UI (кнопки, поля ввода, выпадающие списки, чекбоксы).
- Выбрать и обучить архитектуру нейронной сети (например, YOLO или Faster R-CNN) для задачи object detection на скриншотах.
- Разработать прототип тестового фреймворка, который использует обученную модель для нахождения элементов и взаимодействия с ними.
→ Бесплатная консультация по вашей теме: Telegram: @Diplomit Телефон/WhatsApp/MAX: +7 (987) 915-99-32, Email: admin@diplom-it.ru,
Объект и предмет исследования
Объект исследования: Скриншоты пользовательских интерфейсов веб-приложений.
Предмет исследования: Алгоритмы компьютерного зрения и глубокого обучения для детекции и классификации графических элементов на изображениях.
Методы исследования
- Компьютерное зрение: использование библиотек OpenCV для предобработки изображений.
- Глубокое обучение: применение предобученных и кастомных архитектур CNN для локализации объектов.
- Разработка ПО: создание Python-фреймворка, интегрирующего модель и browser automation инструменты (Selenium).
- Сравнительный анализ: оценка эффективности визуального подхода по сравнению с традиционным (по селекторам) по метрикам устойчивости и скорости написания тестов.
Примерное содержание работы (План дипломной работы)
Глава 1. Современные подходы к автоматизации UI-тестирования и постановка проблемы
В первой главе проводится критический анализ status quo. Мы изучим, как работают традиционные фреймворки, в чем заключаются их главные weaknesses (хрупкость селекторов, зависимость от вёрстки). Рассмотрим emerging тренды в AI-тестировании и поставим problem, которую будем решать: создание более robust и easy-to-maintain подхода.
Глава 2. Создание датасета и обучение модели детекции UI-элементов
Вторая глава — самая ресурсоемкая. Мы опишем процесс создания датасета: снятие скриншотов с разнообразных сайтов и их разметка с помощью инструментов like LabelImg. Затем выберем модель детекции, обоснуем выбор, проведем ее обучение и валидацию. Оценим точность модели по метрикам mAP (mean Average Precision).
Глава 3. Разработка прототипа фреймворка визуального тестирования
В третьей главе реализуем практическое применение модели. Разработаем класс или библиотеку на Python, которая будет делать скриншот страницы, передавать его модели, получать координаты найденных элементов и использовать их для кликов, ввода текста и других действий через Selenium WebDriver. Продемонстрируем работу прототипа на тестовом приложении.
Ожидаемые результаты и практическая польза
В результате работы будет создан прототип инструмента, который:
- Обнаруживает элементы интерфейса на скриншотах с точностью не менее 90%.
- Позволяет писать тесты, используя визуальные descriptors ("кнопка 'Login'", "поле 'Email'") вместо технических селекторов.
- Демонстрирует повышенную устойчивость к незначительным изменениям в верстке.
Практическая польза работы заключается в демонстрации potential future подхода к автоматизации тестирования, который может значительно снизить трудозатраты на поддержку тестовых сценариев в agile-средах с частыми релизами.
Что написать в заключении?
В заключении дипломной работы подводятся итоги. В рамках проекта было исследовано применение нейронных сетей для автоматического тестирования пользовательских интерфейсов. Цель работы достигнута — разработан прототип фреймворка, использующего модель компьютерного зрения для взаимодействия с элементами UI.
Практическая значимость подтверждена успешным тестированием прототипа на различных веб-страницах. Обученная модель продемонстрировала высокую точность детекции. Основным направлением для дальнейших исследований является увеличение датасета для улучшения обобщающей способности модели и интеграция с популярными CI/CD-инструментами.
Примерный список источников
- Редди, К. Автоматизация тестирования программного обеспечения. – М.: Лори, 2023.
- Журавлев, И.В. Глубокое обучение. Компьютерное зрение. – СПб.: Питер, 2024.
- Liu, T. et al. Towards Automated Testing of GUI using Computer Vision // Proceedings of the IEEE International Conference on Software Testing. – 2023.
- Документация по OpenCV, TensorFlow Object Detection API, PyTorch.
- Материалы конференций SeleniumConf и State of Testing Report.
- Статьи о коммерческих решениях в области AI-тестирования (Applitools, Testim).
Полезные материалы для самостоятельной работы
Нужна помощь с дипломной работой?
Мы уже помогли сотням студентов успешно защититься. Наши эксперты напишут для вас уникальную работу по этой теме с глубоким анализом и практическими рекомендациями.
→ Напишите нам в Telegram для бесплатной консультации: @Diplomit
→ Или оформите заказ прямо на сайте: Заказать дипломную работу
Алина, студентка КРОК: "Заказывала диплом по этой теме. Сделали огромный размеченный датасет и обучили модель, которая отлично распознает элементы. Прототип фреймворка работал и был реально полезен. Руководитель от индустрии дал самый положительный отзыв."