騰訊渾源 騰訊-HY-MT1.5オープンソース:1.8Bエンドサイド翻訳と7Bクラウド協働実用解釈

1. 要旨

Tencent-HY-MT1.5(HY-MT)は、Tencentのオープンソースの機械翻訳モデルスイートであり、1.8B(部分的側面/低リソース)と7B(部分的クラウド/高品質)の2つのスケールを含んでいます。 当局は「デバイス側+クラウド側」への共同展開を強調しています。デバイスの低遅延と低メモリ使用、クラウド上のより高品質で堅牢な複雑なシーン性能、そして33+言語・方言(一部のミン・チャナ語・中国語方言を含む)の相互翻訳機能をカバーしています。

2. コア機能

1. エンドクラウドのデュアルモデルカバレッジ:1.8Bは消費者向けハードウェアとオフライン/リアルタイム翻訳に適応; 7Bはより高品質なバージョンで、クラウドバッチや需要の高いシナリオに適しています。

2. 速度とリソースへの優しさ:1.8Bは量子化されたバージョンを提供し、公式には約1GBのメモリ使用量と、ハードウェアや推論フレームワークによりますが50トークンの低遅延データを提供します。

3. 生産上の強化機能:ネイティブで用語介入(カスタム用語比較)、長文会話の文脈翻訳、フォーマットされたテキスト翻訳(できるだけラベルやタイポグラフィを保持)をサポート。

4. 多言語対応:一般的な中国語、英語、日本語に加え、さまざまな小規模言語もカバーしています。 国境を越えたeコマース、コンテンツの国際化、多言語対応のカスタマーサービスに適しています。

3. 設置

1. 環境準備:公式推奨のTransformersバージョン(リポジトリの例は固定バージョン番号)を優先して使用し、GPU/CPU推論環境の準備を行ってください。
2. モデルを取得する:Hugging Faceから対応する重み(1.8B/7B、FP8、GPTQ Int4など)をダウンロードします。
3. 推論方法:モデルカード/倉庫の例に基づいて翻訳プロンプトテンプレートを作成します(中国語と外国語の翻訳テンプレート、外国語訳、用語・文脈・フォーマットの翻訳テンプレートは異なります)、生成インターフェースを呼び出して翻訳を出力します。

4. 典型的なユースケース

1. デバイス側のオフライン翻訳:モバイル、デスクトップ、ブラウザプラグイン、入力方式/ストローク翻訳などの低遅延シナリオ。
2. クラウド上での高品質翻訳:文書のバッチ翻訳、国際コンテンツ制作、多言語ナレッジベースの構築。
3. 業界用語の一貫性:医療、法務、財務、ソフトウェア工学の文書などは、「用語のずれなし」というテキストが必要です。
4. 多輪対話とカスタマーサービス:歴史的な対話を文脈として用いて、代名詞の引用誤りやスタイルの断片を減らす。
5. ウェブページ/タグテキスト:HTMLやタグ付きテキスト翻訳。バックフィルやレンダリングを容易にするために元の構造を維持しようと努めます。

5. 生態系と競合製品

1. エコシステム:GitHubのエンジニアリング例や技術レポートを提供すること; Hugging Faceは、デバイス側やクラウド側で異なる推論コストを選択できるように、さまざまな精度/量子化バージョンを提供しています。
2. 競合製品参照:オープンソース側はMarianMT、NLLBシリーズ、M2M100、SeamlessM4Tなどと比較できます。 クローズドソース側は、さまざまな翻訳APIや汎用大規模モデルの翻訳機能の翻訳に一般的に使われます。 実際の選択推奨は、言語のカバレッジ、フォーマットの定着、用語の一貫性、スループットやレイテンシの指標に基づいてA/Bテストされます。

6. 制限事項と注意事項

1. 指標の転送可能性:公式な速度/メモリデータおよび効果ランキングは通常、特定のハードウェア、定量化、推論構成に依存し、リリース前にターゲットデバイスで再テストする必要があります。
2. プロンプト依存性:用語・文脈・フォーマットの翻訳は、テンプレートに従って入力を厳密に整理する必要があります。そうでなければ説明的な出力やフォーマットの変化が生じる可能性があります。
3. 小規模言語と口語スタイル:ロングテール言語、スラング、強いフィールドテキストは誤訳や省略が残る可能性があるため、用語集と手動サンプリングの導入を推奨します。
4. デバイス側とクラウド側の一貫性:デバイス側とクラウド側が異なるバージョンや量子化精度を使用している場合、出力スタイルが完全に一貫しておらず、プロンプトワードや用語戦略で収束させる必要があります。

7. プロジェクトアドレス

https://github.com/Tencent-Hunyuan/HY-MT

8. よくある質問

Q: HY-MT1.5-1.8Bはどのような「エンドサイド翻訳」シナリオに適していますか?

A: 遅延に敏感でデバイスリソースが限られ、オフラインでの利用が必要なモバイル翻訳、IM組み込み翻訳、ブラウザストローク翻訳などに適しています。

Q: HY-MT1.5-7Bと1.8Bのどちらを選ぶべきですか? どちらか一方を選ばなければならないのでしょうか?

A: デバイス側優先度1.8B、クラウド優先度7B; また、デバイス側で結果を出力し、クラウド上でレビューや再翻訳を行うことで、より安定した品質と一貫性を得ることもできます。

Q: HY-MT1.5の「用語ベース/用語介入」はどのように機能しますか?

A: 公式用語プロンプトテンプレートによると、「元の用語→ターゲット用語」の比較が制約として挿入され、その後本文が翻訳されて用語の整合性が高まります。

Q: HY-MT1.5はどのようにして長時間の会話文脈翻訳を行うのですか?

A: 歴史的な対話をコンテキストブロック入力として使い、コンテキスト翻訳テンプレートを使ってモデルが現在の文を翻訳する前に文脈を参照できるようにします。

Q: HY-MT1.5はフォーマットを保つ翻訳にどのようなテキストを使用していますか?

A: タグやタグ(例:ウェブページのスニペットや構造化スニペット)を含むテキストに適しています。 ラベルの安定性と保持性を確認するために少量の試料を使用し、その後バッチ処理に拡張することが推奨されます。