Written by
Nickolay Shmyrev
on
Тестирование сервисов распознавания русской речи
По аналогии с тестом открытых русских моделей мы протестировали популярные сервисы для распознавания
речи на записях телефонии. Результаты на сентябь 2023:
| Dataset |
Vosk 0.52 |
Яндекс |
Тиньков |
Сбербанк |
| Звонки Silero WER |
24.0 |
22.4 |
26.9 |
26.4 |
| Звонки заказы WER |
22.3 |
17.5 |
21.7 |
21.4 |
| Звонки поддержка WER |
16.6 |
16.8 |
17.6 |
20.4 |
| Звонки Silero CER |
11.9 |
12.2 |
13.4 |
14.1 |
| Звонки заказы CER |
10.2 |
9.2 |
10.0 |
11.5 |
| Звонки поддержка CER |
8.6 |
10.9 |
8.7 |
13.7 |
Замечания:
- Тестировался потоковый режим
- Яндекс неплохо себя показывает
- Яндекс часто возвращает пустой результат
- Тиньков медленнее обрабатывает потоковые запросы, принудительно замедляя результаты
- Сбербанк в потоковом режиме не показывает хороших результатов по сравнению с тестами прошлого года
Пишите, если знаете о хорошей модели, которую можно протестировать