AI-платформа для анализа лекций в университете

Учебные классы заказчика оснащены специальными устройствами, которые осуществляют запись лекций, позволяя студентам позже получить к ним доступ, если они пропустили занятие или захотели пересмотреть материал.

Данные устройства уже используют ai в обработке записей:

• Модель Whisper-cpp-python транскрибирует аудиофайлы в формате MP3 в текст, а также преобразует устный контент в письменную форму для дальнейшей обработки.
• BERT-Summarizer генерирует краткие резюме из транскрибированного текста, а также выделяет ключевые моменты из длинных транскриптов для облегчения понимания.
• Mistral Al Model генерирует вопросы для тестов на основе обобщенного контента.

Эти Al-модели интегрированы в бэкэнд приложения, предустановленного на записывающие устройства, обеспечивая плавное взаимодействие между процессами транскрибирования, обобщения и создания тестов.

Перед нами поставили задачу по превращению данного устройства и его существующего функционала в ai-платформу для анализа лекций.

Существующее решение было дополнено новым функционалом, который значительно расширил его возможности. Основным направлением доработки стало создание модулей для обработки аудио- и видеоматериалов с целью их автоматического анализа.

Новый функционал

Теперь платформа обрабатывает три типа входных данных: видео с учительским потоком, видео с потоком со смарт-доски и аудио лекций. Эти данные проходят многоуровневую обработку, которая включает:

1. Удаление длинных пауз, посторонних тем и нерелевантных материалов как из аудио, так и из видеофайлов.
2. Применение транскрипции с использованием модели Whisper для преобразования речевых данных в текст с добавлением временных меток.
3. Интеграцию функционала для обнаружения ключевых фраз или тем, которые отмечаются в тексте и аудио для дальнейшего анализа.
4. Генерацию обучающих тестов на основе проанализированного текста.
5. Формирование событий на основе заданных ключевых слов, например, когда преподаватель произносит определённую фразу, система фиксирует её и передаёт временную метку и дополнительные данные во внешние системы.
6. Внедрили умную систему (RAG). Она позволяет вносить новые данные о преподаваемом предмете. Если в учебном плане появляется новый предмет, заказчику потребуется внести его в базу и модель будет учитывать новую информацию о предмете и тем самым лучше обрабатывать поступающий контент.

Несколько языков распознавания

Платформа умеет распознавать аудиозаписи на различных языках. В частности, для заказчика было важно настроить распознавание на английском, телугу и хинди.

Работа на краевых устройствах

Для применения нейросетей в непосредственной близи от от источника данных ("на краю") применяются разные краевые устройства. Разработанное нами решение поддерживает работу на краевых устройствах с ARM-архитектурой, что делает его подходящим для использования в любых условиях. А интеграция с внешними системами осуществляется через удобный API, который упрощает развертывание и использование платформы.

После доработки функциональности устройства, полученная платформа стала полноценным инструментом для автоматизации обработки лекций.

Устройства эффективно обрабатывают видео и аудио, исключая нерелевантные фрагменты и предоставляя структурированные данные для дальнейшего использования.

Внедрение функционала для генерации тестов и анализа ключевых фраз позволило ускорить процесс создания обучающих материалов, сократив временные затраты преподавателей более чем на 60%.

Кроме того, система успешно интегрирована с внешними образовательными платформами благодаря API, что упрощает её адаптацию под существующую инфраструктуру.

Платформа стабильно работает на краевых устройствах с ARM-архитектурой, демонстрируя высокую производительность даже в условиях ограниченных ресурсов.