Система оценки возможностей использования речеподобных сигналов в задачах защиты и обработки аудиовизуальной информации

Написать диплом по теме «Система оценки возможностей использования речеподобных сигналов в задачах защиты и обработки аудиовизуальной информации»

Тема «Система оценки возможностей использования речеподобных сигналов в задачах защиты и обработки аудиовизуальной информации» актуальна в условиях роста фишинга с применением deepfake-аудио. В работе анализируются методы детекции синтезированных голосов, проектируется система на базе ML-моделей (например, Wav2Vec2), реализуется обработка аудиопотока в реальном времени. Результат — снижение риска мошенничества в банках и госучреждениях.

Нужен разбор вашей темы Система оценки возможностей использования речеподобных сигналов в задачах защиты и обработки аудиовизуальной информации? Получите бесплатную консультацию: @Diplomit | +7 (987) 915-99-32 (WhatsApp)

Актуальность темы

В 2025 году число инцидентов с поддельным голосом в России выросло на 180% по сравнению с 2023 годом — данные от ФСТЭК. Мошенники используют синтез речи для обмана клиентов банков, имитируя голос родственников или руководителей. Например, в декабре 2024 года в Москве был зафиксирован случай, когда с помощью deepfake-аудио было похищено 4,2 млн рублей с корпоративного счёта.

На практике большинство систем аутентификации по голосу не различают живую и синтезированную речь. Это создаёт критическую уязвимость. В 2024 году исследование "ASVspoof 2024 Challenge" показало, что стандартные модели распознавания голоса (например, на базе MFCC + HMM) не обнаруживают 68% современных deepfake-аудио.

Поэтому разработка системы оценки возможностей использования речеподобных сигналов — не просто научная задача, а необходимость для финансовых и государственных организаций.

Цель и задачи

Цель ВКР: разработка и оценка эффективности системы обнаружения синтезированных речеподобных сигналов в аудиовизуальных потоках.

Задачи:

1. Провести анализ методов генерации и детекции речеподобных сигналов (на основе ГОСТ Р 57580.1-2017 и ASVspoof 2024).
2. Выбрать и обосновать архитектуру ML-модели (например, Wav2Vec2 + LSTM).
3. Спроектировать систему обработки аудиопотока в реальном времени.
4. Разработать прототип на Python с использованием PyTorch.
5. Оценить точность детекции на датасете ASVspoof 2024 и собственных записях.
6. Рассчитать экономическую эффективность внедрения в банке (снижение потерь от мошенничества).

Задачи соответствуют методическим рекомендациям Финансового университета: анализ → проектирование → реализация → экономика.

Объект и предмет исследования

• Объект: процесс аутентификации по голосу в коммерческом банке (например, ПАО «Сбербанк»).
• Предмет: методы и средства оценки подлинности речеподобных сигналов в аудиовизуальных данных.

Рекомендуемая структура дипломной работы

Пример введения для Финансовый университет

В условиях цифровизации финансовых услуг растёт риск злоупотребления технологиями синтеза речи. В 2024 году ЦБ РФ зафиксировал 217 инцидентов с deepfake-голосом, что на 140% больше, чем в 2023 году. Актуальность темы обусловлена необходимостью защиты аудиовизуальной информации от подделки. Объект исследования — процесс верификации клиентов по голосу в банке. Предмет — методы оценки подлинности речеподобных сигналов. Цель — разработка системы детекции синтезированных аудиосигналов. Задачи включают анализ угроз, выбор ML-архитектуры, разработку прототипа и расчёт экономического эффекта. Работа опирается на ГОСТ Р 57580.1-2017 и стандарты ASVspoof.

Этапы разработки информационной системы

Требования к списку литературы Финансовый университет

Список оформляется по ГОСТ Р 7.0.100-2018. Обязательно включить:

• ГОСТ Р 57580.1-2017 «Безопасность информационная. Аутентификация по биометрическим данным. Часть 1. Общие положения» — официальный документ.
• Delgado, H. et al. (2024). "ASVspoof 2024: Automatic Speaker Verification Spoofing and Countermeasures Challenge" — arXiv.
• Козлов, А.В. (2025). "Методы защиты аудиовизуальной информации в условиях цифровых угроз" — CyberLeninka.

Пример кода для детекции deepfake-аудио (Python)

import torch
import torchaudio
from transformers import Wav2Vec2Model

class DeepfakeDetector(torch.nn.Module):
    def __init__(self):
        super().__init__()
        self.wav2vec = Wav2Vec2Model.from_pretrained("facebook/wav2vec2-base-960h")
        self.lstm = torch.nn.LSTM(768, 128, batch_first=True)
        self.classifier = torch.nn.Linear(128, 1)
    
    def forward(self, x):
        with torch.no_grad():
            features = self.wav2vec(x).last_hidden_state
        lstm_out, _ = self.lstm(features)
        return torch.sigmoid(self.classifier(lstm_out[:, -1, :]))

# Загрузка аудио
waveform, sr = torchaudio.load("sample.wav")
resampler = torchaudio.transforms.Resample(sr, 16000)
audio = resampler(waveform).squeeze()

model = DeepfakeDetector()
model.eval()
with torch.no_grad():
    pred = model(audio.unsqueeze(0))
    print("Вероятность deepfake:", pred.item())
  

Типичные ошибки студентов

Вопросы, которые часто задают студенты

• Можно ли использовать Whisper для детекции deepfake? Да, но лучше — как часть ансамбля с Wav2Vec2. Whisper обучен на распознавании, а не на детекции подделок.
• Как обосновать выбор датасета? Ссылайтесь на ASVspoof — это международный бенчмарк. Укажите, что он используется в работах ФСТЭК и ЦБ РФ.

Что проверить перед сдачей