Tencent Hy-MT1.5-1.8B-1.25bit Open Source: 440MB Offline-Übersetzungsmodell für Mobiltelefone

1. Zusammenfassung

Hy-MT1.5-1.8B-1.25bit ist ein Low-Bit-Offline-Übersetzungsmodell basierend auf HY-MT1.5-1.8B, gestartet vom Hybrid-Team von Tencent, mit einer Parametergröße von 1,8B und einem quantisierten Volumen von etwa 440MB. Es ist für mobile und Randgeräte eingesetzt und unterstützt 33 Sprachen, 5 Dialekte/Minderheitensprachen und 1056 Übersetzungsanweisungen. Laut dem offiziellen technischen Bericht weist das Modell eine starke Parametereffizienz bei Standard-Chinesisch-, Fremd- und Englisch-Fremd-Übersetzungsaufgaben auf und kann mit einigen kommerziellen Übersetzungs-APIs und größeren Open-Source-Modellen konkurrieren. Es wird dennoch empfohlen, den spezifischen Effekt anhand der Unternehmenssprache und des Testsets zu überprüfen.

2. Kernmerkmale

1. Extrem geringes Volumen: Komprimieren Sie das FP16-Modell mit etwa 3,3 GB auf etwa 440 MB durch Sherry 1,25-Bit-ternäre Quantisierung.
2. Mobile Offline: Die offizielle Android Demo APK wird bereitgestellt, um die Offline-Übersetzung in einer netzwerkfreien Umgebung zu erleben.
3. Mehrsprachige Abdeckung: Unterstützung von Chinesisch, Englisch, Japanisch, Koreanisch, Französisch, Spanisch, Tibetisch, Mongolisch, Uigurisch, Kantonesisch usw.
4. Verbesserung der Übersetzungsfähigkeiten: Unterstützung von Aufgaben wie Terminologieintervention, kontextueller Übersetzung und Formatpflege.
5. Unterstützung für Kompressionsrahmen: Basierend auf der AngelSlim-Toolchain deckt es Quantisierung, Bereitstellung und nachfolgende Iterationen von Kompressionsalgorithmen ab.

3. Installation

1. Android-Erlebnis: Laden Sie die offizielle Demo-APK herunter und erleben Sie die Offline-Übersetzung direkt nach der Installation.
2. Modellgewichte: Laden Sie die 1,25-Bit-Gewichte oder die GGUF-Version von Hugging Face herunter.
3. AngelSlim-Toolchain: kann durch pip install angelslim installiert werden; Die Quellcode-Methode kann von GitHub geklont und dann Python setup.py Installation ausgeführt werden.
4. Hinweis: Die offizielle Dokumentation zeigt, dass der mit llama.cpp bezügliche STQ-Kernel noch in Arbeit ist und die Projektbereitstellung der neuesten Repository-Beschreibung unterliegen muss.

4. Typische Anwendungsfälle

1. Mobile Offline-Übersetzung: geeignet für Reisen, grenzüberschreitende Kommunikation, schwache oder keine Netzwerkszenarien.
2. Datenschutzsensible Textübersetzung: Text kann lokal verarbeitet werden, wodurch der Bedarf an externen Diensten reduziert wird.
3. Gegenseitige Übersetzung von Nebensprachen: Abdeckung tibetischer, mongolischer, uigurischer und anderer ethnischer Minderheitensprachen.
4. Übersetzung von Unternehmensterminologie: Sie kann mit Terminologie-Interventionsvorlagen kombiniert werden, um die Konsistenz des professionellen Vokabulars zu verbessern.
5. Appübergreifende Wortauswahl: Die Android-Demo demonstriert den Hintergrund-Wortauswahlmodus, der sich für die Übersetzung von E-Mails, Webseiten und Chat-Inhalten eignet.

5. Ökologie und konkurrierende Produkte

1. Ökosystem: Das Projekt bietet außerdem Hugging Face Weights, GGUF-Version, Android-Demo, AngelSlim-Dokumentation und GitHub-Repositories.
2. Konkurrenzprodukte: Es kann mit kommerziellen Diensten wie Google Translate, Microsoft Translator, DeepL und Doubao Translation sowie Tower-Plus, Qwen und anderen Open-Source-MT-Modellen verglichen werden.
3. Unterschiede: Die Hauptvorteile von Hy-MT1.5-1.8B-1.25bit sind seine geringe Größe, die Offline-Zugänglichkeit und die breite Sprachabdeckung, was es für endseitige Übersetzung geeignet macht und nicht nur für Cloud-APIs.

6. Einschränkungen und Vorsichtsmaßnahmen

1. Der offizielle Benchmark ist nicht derselbe wie alle realen Geschäftsszenarien und muss entsprechend Richtung, Feld und Textlänge erneut getestet werden.
2. Low-Bit-Quantisierung kann instabile Ergebnisse in komplexen langen Sätzen, Fachbegriffen oder ressourcenarmen Sprachen liefern.
3. Android-APK eignet sich für Erfahrung, und die Bereitstellung in der Produktion muss weiterhin auf Berechtigungen, Aktualisierungsmechanismen und Sicherheitsaudits achten.
4. GGUF und das End-Kernel-Ökosystem sind noch in Iteration, und die aktuelle Schlussfolgerung der Backend-Unterstützung sollte vor der Bereitstellung bestätigt werden.
5. Bei Hochrisiko-Texten wie Recht, medizinischer Versorgung und Verträgen wird eine manuelle Überprüfung empfohlen.

7. Projektadresse

https://github.com/tencent/AngelSlim

8. Häufig gestellte Fragen

F: Kann Hy-MT1.5-1.8B-1.25bit komplett offline übersetzt werden?

A: Die offizielle Android-Demo ist für das Offline-Übersetzungserlebnis gedacht, und das Modell kann nach dem Download lokal ausgeführt werden; Für den tatsächlichen Einsatz siehe bitte die neuesten Dokumentationen.

F: Welche Sprachen unterstützt Hy-MT1.5-1.8B-1.25bit?

A: Es gibt 33 Amtssprachen und 5 Arten von Dialekten/Minderheitensprachen, darunter Chinesisch, Englisch, Japanisch, Koreanisch, Tibetisch, Mongolisch, Uigurisch, Kantonesisch usw.

F: Was ist besser, Hy-MT1.5-1.8B-1.25bit oder Google Translate?

A: Der offizielle Bericht hebt seine starke Wettbewerbsfähigkeit bei mehreren Standardbenchmarks hervor; Google Translate ist jedoch ein kontinuierlich aktualisierter kommerzieller Dienst, und es wird empfohlen, ihn nach bestimmten Sprachanweisungen und Domaintexten zu testen.

F: Verliert die 1,25-Bit-Quantisierung an Übersetzungsqualität?

A: Offiziell quantifiziert Sherry nahezu verlustfreie Leistung bei der Kompression der Lautstärke; Der tatsächliche Effekt hängt weiterhin von der Sprachrichtung und dem Eingabeinhalt ab.