Интеллектуальный ассистент для протоколирования деканского совещания

Разработка системы автоматического протоколирования деканских совещаний на основе нейросетевых методов обработки и распознавания речи нескольких русскоговорящих спикеров. Система должна генерировать текстовый протокол, содержащий основные решения и обсуждаемые вопросы на деканском совещании. Задачи: Распознавание речи: Ассистент должен с высокой точностью распознавать русскую речь нескольких спикеров в условиях умеренного шума. Транскрипция: Преобразование распознанной речи в текстовый формат с минимальным количеством ошибок. Структурирование: Автоматическое разделение транскрипции на логические блоки (например, по докладчикам, темам обсуждения, решениям). Извлечение ключевых сущностей: Разработка модели извлечения ключевых сущностей (имена, даты, решения, темы обсуждения) из транскрипции речи. Генерация протокола: Разработка модели генерации текста протокола на основе распознанной речи и извлеченных ключевых сущностей. Протокол должен быть структурированным и легко читаемым. Разработка интерфейса: Создание удобного интерфейса для загрузки аудиозаписей, просмотра транскрипции и полученного протокола. Требования к качественным оценкам: - Качество распознавания речи: WER (Word Error Rate) не более 5%. - Точность извлечения ключевых сущностей: Precision & Recall не менее 85%. - Протокол должен адекватно отражать суть обсуждения и принятые решения. Субъективная - оценка качества протокола экспертом должна быть не ниже 4 из 5 баллов. - Язык: Русский. - Формат входных данных: Аудиофайлы в формате WAV. - Формат выходных данных: Текстовый файл в формате .txt или .docx. Выходные данные: Рабочий прототип голосового ассистента в виде пайплайна SOTA моделей. Отчет о тестировании с оценкой точности распознавания и транскрипции. Технологический стек по задачам: DL, NLP, (Whisper, Kaldi), NER, (GPT-2 и выше, T5, )