ВКР ТУСУР: Приложение для симуляции пользовательского ввода на основе данных компьютерного зрения
Актуальность темы • Цель и задачи • Объект и предмет • Примерный план работы • Ожидаемые результаты • Пример введения • Заключение • Требования к списку источников
Бесплатная консультация по вашей теме: Telegram: @Diplomit Телефон/WhatsApp/MAX: +7 (987) 915-99-32, Email: admin@diplom-it.ru
Актуальность темы
Тестирование интерфейсов — это фундамент качественного ПО. Но как протестировать, если пользователь не может сесть за компьютер? Если вы разрабатываете приложение для людей с ограниченными возможностями? Или вам нужно проверить, как пользователь будет взаимодействовать с мобильным устройством в движении? Или вы просто хотите автоматизировать рутинные тесты кликов и ввода текста?
Существующие инструменты (Selenium, Appium) — мощные, но требуют прямого управления устройством. Они не могут «увидеть», куда смотрит человек, как он двигает рукой, как он пытается набрать текст с экрана. А ведь именно эти движения — ключ к пониманию истинного пользовательского опыта.
Компьютерное зрение меняет правила игры. С помощью камеры и нейросетей можно отследить положение руки, движение глаз, даже предположить, куда пользователь хочет кликнуть, прежде чем он это сделает. Ваша дипломная работа — это создание приложения, которое симулирует ввод на основе того, что видит камера: если человек указывает пальцем на кнопку — приложение нажимает ее. Если смотрит на поле ввода — начинает печатать. Это не просто автоматизация — это переход к естественному взаимодействию с ПО.
Это особенно актуально для ТУСУР, где ведутся исследования в области HCI (Human-Computer Interaction), медицинских приложений и систем поддержки людей с инвалидностью. Ваша работа может стать основой для инновационного решения, которое будет использоваться в лабораториях вуза и за его пределами.
Возникли трудности с выбором модели компьютерного зрения или реализацией симуляции ввода? Наши эксперты по защите информации помогут! Звоните или пишите: Telegram: @Diplomit
+7 (987) 915-99-32 (WhatsApp/MAX), admin@diplom-it.ru.
Если вы еще не определились с архитектурой, ознакомьтесь с полным руководством по написанию ВКР ТУСУР Информационные системы и технологии Полное руководство по написанию ВКР ТУСУР Информационные системы и технологии.
Цель и задачи
Цель исследования: Разработать приложение для симуляции пользовательского ввода (клик, ввод текста, жесты) на основе данных, полученных с помощью компьютерного зрения, для целей тестирования интерфейсов и поддержки пользователей с ограниченными возможностями.
Для достижения цели необходимо решить следующие задачи:
- Проанализировать существующие методы симуляции ввода (Selenium, AutoHotkey, AppleScript)
- Изучить современные технологии компьютерного зрения: OpenCV, MediaPipe, YOLO, Gaze Tracking
- Определить ключевые параметры: распознавание руки, ориентация пальца, фиксация взгляда, расстояние до экрана
- Разработать алгоритм преобразования визуальных данных в команды ввода
- Выбрать технологический стек: Python, C++, JavaScript
- Реализовать модуль захвата видеопотока с камеры
- Реализовать модуль симуляции ввода для Windows/macOS/Android
- Создать интерфейс для настройки параметров и запуска симуляции
- Провести тестирование на реальных интерфейсах (веб-сайты, мобильные приложения)
Объект и предмет исследования
Объект исследования: Процессы взаимодействия человека с цифровыми интерфейсами и методы автоматизации этих процессов.
Предмет исследования: Методы и технологии реализации симуляции пользовательского ввода на основе данных компьютерного зрения.
Фокус работы — на преобразовании невидимых сигналов в явные действия. Как научить компьютер понять, что взгляд пользователя, зафиксированный на поле ввода, означает «пора начинать печатать»? Это не программирование — это мост между биологией и машиной. Именно здесь ваша работа становится научно значимой и инновационной.
Примерный план (Содержание) работы
Глава 1. Теоретические основы компьютерного зрения и симуляции ввода
- 1.1. Принципы взаимодействия человека с компьютером (HCI)
- 1.2. Современные методы симуляции ввода: преимущества и ограничения
- 1.3. Основы компьютерного зрения: детекция объектов, трекинг, распознавание жестов
- 1.4. Технологии распознавания взгляда (gaze tracking) и их применение
- 1.5. Применение компьютерного зрения в медицине и доступности
Глава 2. Проектирование и разработка приложения
- 2.1. Формирование требований к системе: точность, скорость, надежность, безопасность
- 2.2. Выбор технологического стека: Python + OpenCV + MediaPipe + PyAutoGUI
- 2.3. Проектирование архитектуры: клиент (камера), сервер (обработка), клиент (симуляция)
- 2.4. Разработка модуля захвата видеопотока и предварительной обработки изображения
- 2.5. Реализация алгоритмов детекции руки, пальцев и точки фиксации взгляда
- 2.6. Создание модуля симуляции ввода: клавиатурный ввод, клики, скроллинг
- 2.7. Разработка пользовательского интерфейса: настройка чувствительности, зоны активации, режимы
- 2.8. Интеграция с различными операционными системами и платформами
Глава 3. Тестирование и оценка эффективности
- 3.1. Методика тестирования: сценарии взаимодействия, сравнение с традиционными методами
- 3.2. Оценка точности распознавания: F1-score, precision, recall
- 3.3. Анализ скорости реакции: задержка между действием и симуляцией
- 3.4. Оценка удобства использования и восприятия
- 3.5. Рекомендации по применению в тестировании и доступности
Возникли трудности с обучением модели или синхронизацией ввода? Наши эксперты по защите информации помогут! Звоните или пишите: Telegram: @Diplomit
+7 (987) 915-99-32 (WhatsApp/MAX), admin@diplom-it.ru.
Ожидаемые результаты и практическая значимость
Результатом работы станет полнофункциональное приложение с открытым исходным кодом, включающее:
- Модуль захвата видеопотока с камеры (веб-камера, смартфон)
- Алгоритм детекции руки и пальцев с определением координат указания
- Модуль распознавания фиксации взгляда на элементах интерфейса
- Система симуляции ввода: клики, ввод текста, нажатия клавиш
- Пользовательский интерфейс для настройки параметров
- Отчет о тестировании с данными по точности и скорости реакции
Практическая значимость — огромна. Приложение может быть использовано в лаборатории HCI ТУСУР для тестирования интерфейсов, применено в качестве средства доступности для людей с ограниченными физическими возможностями, или интегрировано в системы автоматического тестирования ПО. Вы создадите инструмент, который делает взаимодействие с компьютером более естественным — и сделаете это на базе передовых технологий, изучаемых в ТУСУР. Это не просто диплом — это ваше портфолио для работы в IT-компаниях, занимающихся AI и HCI.
Пример введения ВКР ТУСУР
Современные интерфейсы становятся все более сложными, а требования к их качеству — все выше. Тестирование таких интерфейсов требует больших ресурсов и часто не отражает реальное поведение пользователя. Существующие инструменты автоматизации, такие как Selenium или Appium, управляют устройством напрямую, но не учитывают физические и когнитивные особенности человека. Что, если бы система могла «видеть», куда смотрит пользователь, как он двигает рукой, и предугадывать его намерения? Такой подход открывает новые горизонты не только для тестирования, но и для создания систем помощи людям с ограниченными возможностями.
Целью настоящей магистерской диссертации является разработка приложения для симуляции пользовательского ввода на основе данных компьютерного зрения, предназначенного для целей тестирования интерфейсов и поддержки пользователей с ограниченными возможностями. Объектом исследования являются процессы взаимодействия человека с цифровыми интерфейсами, предметом — методы и технологии реализации симуляции ввода на основе анализа визуальных данных. Для достижения цели используются методы компьютерного зрения, машинного обучения, программирования и методы оценки эффективности систем. Научная новизна заключается в создании первого в ТУСУР приложения, которое объединяет детекцию жестов и фиксации взгляда для симуляции ввода, обеспечивая высокую степень естественности взаимодействия. Практическая значимость работы состоит в предоставлении готового решения, которое может быть использовано в лабораториях HCI, при разработке систем доступности и в автоматизированном тестировании программного обеспечения, значительно снижая затраты на ручное тестирование и повышая качество продуктов.
Заключение ВКР ТУСУР Информационные системы и технологии
В ходе выполнения выпускной квалификационной работы было разработано и протестировано приложение для симуляции пользовательского ввода на основе данных компьютерного зрения. Прототип продемонстрировал точность распознавания указания на элементы интерфейса на уровне 91%, а средняя задержка между фиксацией и симуляцией составила 210 мс — что допустимо для большинства сценариев. Участники тестирования отметили, что взаимодействие стало «более интуитивным» по сравнению с использованием мыши.
Разработанное приложение полностью соответствует требованиям методички ТУСУР и демонстрирует высокий уровень профессионализма в области компьютерного зрения и разработки ПО. Полученные данные подтверждают, что симуляция на основе визуальных данных — это не фантастика, а реальная технология будущего. Работа может служить основой для дальнейших исследований, включая интеграцию с AR-очками и создание систем управления компьютером только взглядом.
Требования к списку источников
Список литературы должен соответствовать ГОСТ 7.1-2003 и включать не менее 40 источников, из которых минимум 25% (10+) должны быть опубликованы за последние 2 года (2023–2025 гг.). Источники следует разделить на категории: научные статьи по компьютерному зрению, исследования по HCI, технические документы по API, работы по симуляции ввода.
Примеры корректного оформления:
- Han, J. et al. Human-Computer Interaction Using Computer Vision: A Survey. IEEE Access. — 2024. — Vol. 12. — P. 12345–12360.
- Medina, R. et al. Gaze-Based Interaction for People with Motor Disabilities: A Systematic Review. Journal of Assistive Technologies. — 2023. — Vol. 17, No. 2. — P. 89–102.
- MediaPipe Documentation. — URL: https://developers.google.com/mediapipe (дата обращения: 15.05.2025)
- OpenCV Documentation. — URL: https://docs.opencv.org/ (дата обращения: 15.05.2025)
- Широков, Д.С. Применение компьютерного зрения в системах доступности // Вестник ТУСУР. — 2024. — № 3(56). — С. 112–120.
- PyAutoGUI Documentation. — URL: https://pyautogui.readthedocs.io/ (дата обращения: 15.05.2025)
Обязательно включайте источники по компьютерному зрению, статьи по gaze tracking, исследования по HCI, технические руководства по OpenCV и MediaPipe. Все ссылки должны быть упомянуты в тексте работы.
Полезные материалы для написания магистерской диссертации
- Все готовые работы Информационные системы и технологии — образцы структур, кода и анализа
- Методические рекомендации по написанию ВКР ТУСУР по направлению 09.03.01
- Курс "Computer Vision Basics" на Coursera (University of Illinois)
- Руководство по разработке приложений на Python с использованием OpenCV
Нужна помощь с обучением модели или реализацией симуляции ввода? Наши эксперты — практики в области компьютерного зрения и разработки ПО. Мы напишем для вас работу с рабочим приложением, кодом и тестами, готовую к защите. Звоните или пишите: Telegram: @Diplomit
+7 (987) 915-99-32 (WhatsApp/MAX), admin@diplom-it.ru.
Нужна помощь с ВКР ТУСУР?
Наши эксперты — практики в сфере ВКР ТУСУР по Информационные системы и технологии. Мы напишем для вас уникальную работу по этой теме с глубоким анализом, реальными кейсами и расчетами, готовую к защите.
? Что вы получите: полное соответствие методичке вашего Вуза, гарантию оригинальности от 75%, сопровождение до защиты.
→ Оформите заказ онлайн: Заказать ВКР ТУСУР