"Тинькофф" начинает продажу собственных речевых технологий

Группа Тинькофф начинает продажу корпоративным клиентам собственных речевых технологий Tinkoff VoiceKit, которые позволяют преобразовывать голос в текст и синтезировать голос из текста.

Речевые технологии Tinkoff VoiceKit – это глубокие нейросетевые модели для синтеза и распознавания речи, которые в течение последних лет разрабатывались в Тинькофф в рамках стратегии AI First и которые также использовались для создания Олега - первого в мире финансового голосового помощника собственной разработки.

Технология Tinkof VoiceKit может использоваться, например, для: создания собственных голосовых помощников, создания роботов для автоматизации работы колл-центра, быстрой записи аудиокниг, озвучки и редактирования видеороликов, построения системы речевой аналитики по транскрибированным текстам – например, в колл-центрах для контроля работы операторов, создания приложений для людей с ограниченными возможностями, транскрибации любых звуковых записей публичных выступлений, поисковой оптимизации и полнотекстовому поиску по аудио и видеозаписям

Также сейчас разрабатывается версия Tinkoff VoiceKit для физических лиц, которая будет доступна пользователям осенью.

Образовательным учреждениям и студентам Тинькофф будет предоставлять технологию бесплатно – таким образом группа планирует сделать дополнительный вклад в российскую систему образования в рамках развития собственных образовательных проектов, поддержки всероссийских олимпиад и сотрудничества с ведущими российскими вузами и образовательными центрами.

Тинькофф начал разработку собственной технологии распознавания речи в 2016 году. На данный момент эта технология правильно определяет до 95% произнесенных слов и использует для обучения терабайты данных и десятки тысяч часов человеческой речи. Она одинаково хорошо справляется с шумной речью в телефонном канале, так и с чистой речью, полученной из качественных источников данных.

Разработка собственной технологии синтеза речи началась в Тинькофф в 2018 году на основе таких нейросетевых моделей, как WaveNet, Tacotron-2, Deep Voice. Для этого использовались знания и экспертиза о звуке, накопленные специалистами Тинькофф за два предыдущих года, поэтому вся работа по созданию синтеза речи заняла всего около 9 месяцев. Разработанные в Тинькофф нейросетевые архитектуры позволяет качеству синтезированного голоса вплотную приблизиться к человеческому.

Также для разработки Tinkoff VoiceKit и обучения нейросетевых моделей был задействован кластер "Колмогоров" - один из мощнейших в России суперкомпьютеров, созданный группой Тинькофф в марте 2019 г.

Голосовые технологии используются сегодня в группе Тинькофф не только в голосовом помощнике: они помогают автоматизировать процессы, связанные с обслуживанием. Так, через распознавание речи ежедневно проходит около миллиона звонков обслуживания, анализируется качество обработки обращений клиентов, а собственная биометрическая система, обученная на голосах клиентов, успешно помогает отсеивать все мошеннические действия в колл-центре.

Вячеслав Цыганов, вице-президент Тинькофф, Директор по информационным технологиям ометил: "У нас была блестящая команда разработчиков, 80 видеокарт, более 15 тысяч часов аудио из свободных источников, десятки тысяч часов звонков собственного колл-центра, суперкомпьютер "Колмогоров" и диктор, готовый 5 месяцев записываться для синтеза речи. Мы работали три года, разметили за это время более 4,5 тысячи часов аудио и натренировали глубокие нейросетевые модели. И вот сегодня мы представляем рынку собственные речевые технологии Tinkoff VoiceKit.

Наши первые клиенты считают, что качество распознавания речи у Tinkoff VoiceKit выше тех решений, которые они использовали до этого. Особенно это касается телефонной речи, поскольку у нас накоплено очень много данных в этой области, и мы можем обучать нейросетевые модели, используя суперкомпьютер "Колмогоров" на всём их объёме.

Наши решения, независимо от того в каком формате они будут использоваться - потоковое распознавание или пакетная оффлайн обработка - будут доступны только в виде API. В тех случаях, где заказчикам потребуется доработка своих систем или on-site решение, мы планируем сотрудничать с крупными интеграторами, которые будут готовы взять эту работу на себя. Также готовятся к выпуску мобильные SDK под iOS и Android".