テンセントHy-MT1.5-1.8B-1.25ビットオープンソース:440MB携帯電話オフライン翻訳モデル解析

1. 要旨

Hy-MT1.5-1.8B-1.25bitは、Tencentのハイブリッドチームが導入したHY-MT1.5-1.8Bをベースにした低ビットオフライン翻訳モデルで、パラメータサイズは1.8B、量子化ボリュームは約440MBです。 モバイルおよびエッジデバイス向けに展開されており、33言語、5つの方言/少数言語、1056の翻訳指示をサポートしています。 公式技術報告書によると、このモデルは標準的な中国語、外国語、英語-外国翻訳タスクにおいて高いパラメータ効率を持ち、一部の商用翻訳APIや大規模なオープンソースモデルと競合可能です。 ただし、ビジネス用語やテストセットに基づいて具体的な効果を確認することが推奨されます。

2. コア機能

1. 極めて低いボリューム:FP16の約3.3GBモデルをSherry 1.25ビット三進量子化で約440MBに圧縮します。
2. モバイルオフライン:公式のAndroidデモAPKが提供され、ネットワークフリー環境でオフライン翻訳を体験できます。
3. 多言語対応:中国語、英語、日本語、韓国語、フランス語、スペイン語、チベット語、モンゴル語、ウイグル語、広東語などをサポート。
4. 翻訳能力の向上:用語の介入、文脈翻訳、フォーマットの維持などの支援タスク。
5. 圧縮フレームワークのサポート:AngelSlimツールチェーンに基づき、量子化、展開、その後の圧縮アルゴリズムの反復をカバーしています。

3. 設置

1. Android体験:公式デモAPKをダウンロードし、インストール直後にオフライン翻訳を体験できます。
2. モデルの重み:Hugging Faceから1.25ビットの重みまたはGGUF版をダウンロードしてください。
3. AngelSlimツールチェーン:pipでインストール可能なinstall angelslim; ソースコードの方法はGitHubからクローンし、インストール setup.py pythonを実行することができます。
4. 注:公式ドキュメントによると、llama.cppに関連するSTQカーネルはまだ進行中であり、プロジェクトのデプロイは最新のリポジトリ説明に従う必要があります。

4. 典型的なユースケース

1. モバイルオフライン翻訳:旅行、国境を越えた通信、ネットワークが弱い場合や全くない場合に適しています。
2. プライバシーに配慮したテキスト翻訳:テキストはローカルで処理できるため、外部サービスのアップロードが不要です。
3. 小規模言語の相互翻訳:チベット語、モンゴル語、ウイグル語およびその他の少数民族言語を対象としています。
4. 企業用語翻訳:用語介入テンプレートと組み合わせることで、専門用語の一貫性が向上します。
5. クロスアプリ語選:Androidデモでは、メール、ウェブページ、チャットコンテンツの翻訳に適したバックグラウンド語選モードが示されています。

5. 生態系と競合製品

1. エコシステム:プロジェクトはHugging Faceの重み、GGUFバージョン、Androidデモ、AngelSlimドキュメント、GitHubリポジトリも提供しています。
2. 競合製品:Google 翻訳、Microsoft Translator、DeepL、Doubao Translationなどの商用サービスや、Tower-Plus、Qwen、その他のオープンソースMTモデルと比較できます。
3. 違い:Hy-MT1.5-1.8B-1.25bitのコアな利点は、その小型、オフラインでのアクセス性、そして広範な言語カバレッジであり、クラウドAPIだけでなくエンドサイド翻訳に適しています。

6. 制限事項と注意事項

1. 公式ベンチマークはすべての実際のビジネスシナリオとは異なり、方向性、フィールド、テキストの長さに応じて再テストが必要です。
2. 低ビット量子化は複雑な長文、専門用語、または資源の少ない言語で不安定な結果を生み出すことがあります。
3. Android APKは体験に適しており、本番環境での展開は依然として権限、更新メカニズム、セキュリティ監査に注意を払う必要があります。
4. GGUFおよびエンドサイドカーネルエコシステムはまだ反復中であり、現在の推論バックエンドのサポートは展開前に確認されるべきです。
5. 法律、医療、契約などの高リスク文書の場合は、手動で確認することが推奨されます。

7. プロジェクトアドレス

https://github.com/tencent/AngelSlim

8. よくある質問

Q: Hy-MT1.5-1.8B-1.25bitは完全にオフラインで翻訳できますか?

A: 公式Androidデモはオフライン翻訳体験用で、ダウンロード後はローカルで動作可能です。 実際の展開については、最新のドキュメントをご参照ください。

Q: Hy-MT1.5-1.8B-1.25bitはどの言語をサポートしていますか?

A: 公用語は33種類あり、方言・少数民族言語は中国語、英語、日本語、韓国語、チベット語、モンゴル語、ウイグル語、広東語など5種類あります。

Q: Hy-MT1.5-1.8B-1.25bitとGoogle翻訳、どちらが優れていますか?

A: 公式報告書は、いくつかの標準的なベンチマークにおける同社の強い競争力を強調しています。 しかし、Google翻訳は常に更新される商用サービスであり、特定の言語指示やドメインテキストに基づいてテストすることが推奨されています。

Q: 1.25ビット量子化は翻訳品質を失いますか?

A: 公式には、シェリーはボリュームを圧縮しながらほぼロスレスなパフォーマンスを定量化しています。 実際の効果は言語の方向性や入力内容によって異なります。