Whisperを入れる価値があるかどうかは、文字起こしする量と手元のハードウェア次第です。OpenAIが2022年に公開したオープンソースの音声認識モデルで、音声は自分のコンピューター上で文字起こしされ、分単位の課金はありません。たまに1本だけ録音がある人は、既製の文字起こしサービスを使うほうが手軽です。毎週、会議やインタビュー、ポッドキャストを処理する人は、1回インストールすれば費用と待ち時間を確実に節約できます。
公式リポジトリ情報
公式リポジトリはGitHubにあり、組織名はopenai、プロジェクト名はwhisperで、コードとモデルの重みはMITライセンスで公開されています。モデルはtiny、base、small、medium、large、turboの6サイズがあり、VRAMの目安はtinyとbaseが各約1GB、smallが約2GB、mediumが約5GB、turboが約6GB、largeが約10GBで、速度はlargeを基準にし、tinyが最速です。実際の使用量は実行環境によって変わるので、まずこの表で自分のグラフィックボードを確認してください。GPUがまったくなくても、tinyやbaseから始めることができます。
導入そのものは複雑ではありません。時間がかかるのは実行環境の選択です。オリジナル版はPythonとFFmpegで動き、速度を求めるならfaster-whisper、CPUやAppleシリコンで動かすならwhisper.cppです。モデルは初回実行時にダウンロードされ、その後は完全にオフラインで使えます。画面がないのはこのツールの本質です。音声をテキストに変えるだけで、ディクテーションやライブ字幕、自動セグメンテーションは別のツールを接続する必要があります。インストール直後にこれで会議を開けるとは思わないでください。
導入前に知っておきたい3つの本当の落とし穴
- 無音の部分では幻覚が出やすい。長い沈黙や背景ノイズがあると、誰も言っていない言葉をモデルが書き出すことがあります。手前に音声活動検出を入れ、長い音声を区切ってから文字起こしすることで、かなり減らせます。
- 固有名詞や人名はそれでも間違います。名前、地名、製品名は人の目で確認が必要で、重要な場面では文字起こし原稿を未確認のまま送ってはいけません。数字と時刻は特に原音と照合してください。
- 長い音声ではタイムスタンプがずれます。2〜3時間の録音では、セグメントの境界と話者の切り替わりで位置合わせが最もずれやすく、文字起こしの草稿としては使えても、最終的な議事録としては使えません。
毎週決まったペースで文字起こしをし、音声を自分のマシンから出したくない人に向いています。クリックするだけですぐ使いたい人や、smallすら動かせないほど古いコンピューターの人には向きません。後者の場合は、まず短い録音でsmallを試し、動けばlargeに上げるかどうかを決めてください。
