Meta FAIR a annoncé le Code World Model (CWM), un modèle de recherche de 32 milliards de paramètres conçu pour explorer le rôle des « modèles du monde » dans la génération et le raisonnement de code. Le rapport technique officiel décrit les objectifs et le cadre d'évaluation du modèle, mettant l'accent sur l'utilisation d'un processus de représentation et d'apprentissage basé sur un modèle du monde afin d'améliorer les capacités de modélisation de la sémantique des programmes, des chemins d'exécution et du raisonnement multi-étapes. CWM est axé sur la recherche et vise à promouvoir des méthodologies innovantes en matière de codage vérifiable, de débogage et de décomposition de tâches complexes.
CWM fournit des pondérations ouvertes sur Hugging Face et est accessible au public sous licence de recherche non commerciale FAIR. Le code de raisonnement et de reproduction correspondant est disponible sur GitHub, permettant à la communauté de mener des expériences basées sur la même base de référence. Meta a également lancé une page d'accès à l'application, clarifiant les conditions de téléchargement et d'utilisation. La version actuelle est décrite comme un modèle dense à 32 milliards de paramètres, dont l'objectif principal est de fournir un point de départ public pour la recherche dans le domaine des modèles mondiaux. La comparaison des performances industrielles réelles avec des référentiels plus larges nécessite des travaux supplémentaires et une réplication par des tiers.
Questions fréquemment posées
Q : Quel est le positionnement du CWM ?
A : Un modèle basé sur la recherche pour la génération de code et le raisonnement de code, qui introduit l'idée de modèle mondial pour renforcer la modélisation du comportement du programme et le raisonnement en plusieurs étapes.
Q : Est-ce complètement open source ?
R : Les poids peuvent être téléchargés, mais sont fournis sous une licence de recherche, principalement à des fins de recherche non commerciale ; vous devez en faire la demande et respecter les conditions conformément au processus indiqué sur la page.
Q : Où puis-je l'obtenir ?
R : Le rapport technique est disponible sur le site officiel de Meta Research, les pondérations sont hébergées sur Hugging Face et le code de recherche est publié sur GitHub.
Q : Quelle est la différence avec les modèles de code précédents ?
A : Met l'accent sur les données orientées « modèle mondial » et les paradigmes de formation pour étudier la compréhension du code, la modélisation de la trajectoire d'exécution et le raisonnement vérifiable.
Q : Existe-t-il des scores de référence clairs à des fins de comparaison ?
R : Le rapport officiel fournit des évaluations et des descriptions des capacités, mais des comparaisons approfondies et indépendantes par des tiers sont toujours en cours, et les résultats de réplication ultérieurs seront plus utiles à titre de référence.
