核心导读与中文摘要
涵盖播客配音、实时语音 Agent 与会议纪要转写全链路工具选型:对比中文表现极强的 Fish Audio / SenseVoice 与海外标杆 ElevenLabs / Whisper。
一、TTS 语音合成与音色克隆怎么选?
- Fish Audio(开源生态 + 中文表现惊艳):支持中/英/日混合自然停顿与情绪标签,只需 10~30 秒干净干声样本即可复刻音色,既可调用官方云端 API,也能用开源权重
Fish Speech本地部署。 - ElevenLabs(海外多语种情感标杆):英语与欧洲语种拟真度极高,支持流式低延迟 WebSocket 接口,适合做英文有声书、游戏 NPC 对话与实时语音客服。
二、ASR 语音识别(会议转文字 / 字幕提取)
| 模型 | 特点 | 适用场景 |
|---|---|---|
| SenseVoice(阿里开源) | 中英粤日韩识别极准、推理速度比 Whisper-Large 快数倍、支持情感/事件标注 | 中文视频字幕、会议纪要、低延迟语音输入 |
| Whisper large-v3-turbo | 全球 90+ 语种通用基座,生态工具最丰富(faster-whisper 省显存) | 多语种混合转写、海外播客整理 |
本地一键转写实践建议
使用 faster-whisper 配合 VAD(语音活动检测) 过滤静音片段,能彻底消除空白音频段反复重复输出幻觉文字的老问题。
