ToolNavs 发现实用AI工具
提交工具 登录
返回Ai开源
Whisper值得装吗:本地转写不花钱,坑在显存和幻觉

Whisper值得装吗:本地转写不花钱,坑在显存和幻觉

Ai开源 • Admin • • 14 次浏览

Whisper 值不值得装,答案取决于你要转写的量和手头的硬件。它是 OpenAI 在 2022 年发布的开源语音识别模型,音频留在自己电脑上转写,不按分钟收费。每个月只有零星几段录音的人,用现成的转写服务更省事;每周都要处理会议、采访、播客的人,装一次能省下长期的费用和等待。

官方仓库信息

官方仓库在 GitHub 上,组织名是 openai,项目名是 whisper,代码和模型权重按 MIT 许可证发布。模型分 tiny、base、small、medium、large 和 turbo 六档,官方给出的参考显存大约是 tiny 和 base 各 1GB、small 约 2GB、medium 约 5GB、turbo 约 6GB、large 约 10GB,速度以 large 为基准,tiny 最快。实际占用会随运行方式变化,装之前先按这个表对一下自己的显卡,没有显卡也可以先从 tiny 或 base 起步。

部署本身不复杂,真正花时间的是选运行方式。原版用 Python 加 FFmpeg 就能跑,追求速度的换 faster-whisper,追求在 CPU 或苹果芯片上跑的换 whisper.cpp。模型第一次运行要下载,之后可以完全离线。没有界面是它的本色:它只负责把音频变成文字,听写、实时字幕、自动分段都要靠别的工具接上去,别指望装完就能直接开会用。

三个真实坑点,装之前先认清

  1. 安静段容易“脑补”。长时间静音或背景噪音里,模型可能凭空写出没说过的话,前面加语音活动检测、把长音频切段再转,能明显减少这类问题。
  2. 专有名词和人名照样会错。人名、地名、产品名要人工校对,重要场合别把转写稿直接发出去,数字和时间尤其要回听原文。
  3. 长音频的时间戳会漂移。两三个小时的录音,分段边界和说话人切换处最容易对不上,拿它当逐字稿底稿可以,当最终纪要不行。

适合每周固定转写、又在意音频不外传的人;不适合只想点开就用、或者电脑太旧连 small 都跑不动的人。对后者,先用 small 在短录音上试一次,跑得动再决定要不要上 large。

推荐工具

更多