Тестирование сервисов распознавания русской речи

По аналогии с тестом открытых русских моделей мы протестировали популярные сервисы для распознавания речи на записях телефонии. Результаты на сентябь 2023:

Dataset Vosk 0.52 Яндекс Тиньков Сбербанк
Звонки Silero WER 24.0 22.4 26.9 26.4
Звонки заказы WER 22.3 17.5 21.7 21.4
Звонки поддержка WER 16.6 16.8 17.6 20.4
Звонки Silero CER 11.9 12.2 13.4 14.1
Звонки заказы CER 10.2 9.2 10.0 11.5
Звонки поддержка CER 8.6 10.9 8.7 13.7

Замечания:

  • Тестировался потоковый режим
  • Яндекс неплохо себя показывает
  • Яндекс часто возвращает пустой результат
  • Тиньков очень медленный, примерно в три раза медленее Яндекса
  • Сбербанк в потоковом режиме не показывает хороших результатов по сравнению с тестами прошлого года

Пишите, если знаете о хорошей модели, которую можно протестировать