Программное обеспечение представляет собой специальный инструмент, автоматизирующий процесс подготовки таблиц и аналитических выводов на основе данных о результатах участников всероссийских проверочных работ (ВПР) и государственной итоговой аттестации (ГИА).

Разработка системы автоматического протоколирования деканских совещаний на основе нейросетевых методов обработки и распознавания речи нескольких русскоговорящих спикеров. Система должна генерировать текстовый протокол, содержащий основные решения и обсуждаемые вопросы на деканском совещании. Задачи: Распознавание речи: Ассистент должен с высокой точностью распознавать русскую речь нескольких спикеров в условиях умеренного шума. Транскрипция: Преобразование распознанной речи в текстовый формат с минимальным количеством ошибок. Структурирование: Автоматическое разделение транскрипции на логические блоки (например, по докладчикам, темам обсуждения, решениям). Извлечение ключевых сущностей: Разработка модели извлечения ключевых сущностей (имена, даты, решения, темы обсуждения) из транскрипции речи. Генерация протокола: Разработка модели генерации текста протокола на основе распознанной речи и извлеченных ключевых сущностей. Протокол должен быть структурированным и легко читаемым. Разработка интерфейса: Создание удобного интерфейса для загрузки аудиозаписей, просмотра транскрипции и полученного протокола. Требования к качественным оценкам: - Качество распознавания речи: WER (Word Error Rate) не более 5%. - Точность извлечения ключевых сущностей: Precision & Recall не менее 85%. - Протокол должен адекватно отражать суть обсуждения и принятые решения. Субъективная - оценка качества протокола экспертом должна быть не ниже 4 из 5 баллов. - Язык: Русский. - Формат входных данных: Аудиофайлы в формате WAV. - Формат выходных данных: Текстовый файл в формате .txt или .docx. Выходные данные: Рабочий прототип голосового ассистента в виде пайплайна SOTA моделей. Отчет о тестировании с оценкой точности распознавания и транскрипции. Технологический стек по задачам: DL, NLP, (Whisper, Kaldi), NER, (GPT-2 и выше, T5, )

В рамках проекта необходимо будет разработать систему голосового бота, состоящую из 3 блоков. Задачи, исполняемые ботом, а также модели, используемые в работе, могут быть определены на ваше усмотрение. Общение с клиентом должно проходить в зависимости от заданных сценариев: Выбор сценария будет зависеть от цели звонка(подтверждение записи, повторное подтверждение, опрос клиента, доп. информация), а так же от ответов клиента(полный отказ от записи, запись на другое время, переход на оператора, просьбы клиентов об услугах и т.д.). Необходимо будет разработать базовые сценарии ведения диалога с клиентом, обосновать свой выбор. Функционал можете выбрать любой, главное чтобы бот поддерживал минимум несколько сценариев работы и имел возможность получать информацию из БД.

С целью повышения доступности поддержки и сокращения затрат на работу сотрудников Службы технической поддержки УСИТ СПбГУ (СТП УСИТ), ставится задача разработки и обучения интеллектуального агента (далее бот) для различных каналов связи. С целью обучения интеллектуального агента будут предоставлены данные и экспертиза сотрудников СТП УСИТ.