OpenCoder : Un livre de recettes ouvert pour construire des LLM de code de premier ordre

Ce résumé explore le projet OpenCoder, un nouveau modèle de langage de grande taille (LLM) axé sur le code et open-source, conçu pour être une ressource transparente et reproductible pour la communauté de recherche en IA. Le projet vise à combler l'écart de performance entre les LLM de code open-source et propriétaires en fournissant non seulement les poids du modèle, mais aussi l'ensemble du pipeline d'entraînement, le jeu de données et les résultats expérimentaux. Cette approche de "livre de recettes ouvert" facilite une investigation plus approfondie des mécanismes des LLM de code et de la distribution des données.

Jeu de données RefineCode

OpenCoder utilise un jeu de données raffiné appelé RefineCode, comprenant environ 960 milliards de tokens couvrant 607 langages de programmation. Ce jeu de données est construit à partir de ressources existantes comme The Stack v2, mais intègre des processus approfondis de nettoyage, de déduplication et de filtrage optimisés pour le code, aboutissant à un corpus d'entraînement de meilleure qualité. Il inclut également des données web liées au code récupérées à partir de sources comme Common Crawl.

Entraînement en plusieurs étapes

L'entraînement du modèle implique un processus en plusieurs étapes : un pré-entraînement général, un recuit avec des données algorithmiques et synthétiques de haute qualité, et un processus de réglage d'instructions en deux étapes. Cette approche permet au modèle d'acquérir d'abord une connaissance générale du codage, puis d'affiner ses capacités sur des tâches spécifiques, améliorant ainsi ses performances sur des benchmarks de codage à la fois théoriques et pratiques.

Transparence et reproductibilité

Contrairement à de nombreux LLM de code existants, OpenCoder offre une transparence totale en publiant l'ensemble du pipeline d'entraînement, y compris les scripts de traitement des données, le jeu de données RefineCode, les points de contrôle intermédiaires et les configurations détaillées d'entraînement. Cela permet aux chercheurs de reproduire le modèle et d'étudier l'impact des différents choix de conception.

Performance supérieure

OpenCoder obtient des résultats de pointe sur divers benchmarks de génération et de compréhension de code, notamment HumanEval, MBPP, BigCodeBench, LiveCodeBench, MultiPL-E, McEval et MdEval, démontrant ainsi ses performances compétitives par rapport aux modèles open-source et propriétaires. Les études d'ablation mettent en lumière l'importance de la qualité des données, de la stratégie de déduplication et de l'approche de réglage d'instructions en deux étapes.

Conclusion

OpenCoder apporte une contribution significative au paysage des LLM de code open-source. En fournissant un modèle performant ainsi qu'un pipeline d'entraînement entièrement transparent et reproductible, il permet aux chercheurs d'approfondir le développement des LLM de code, favorisant l'innovation et accélérant les progrès dans le domaine de l'intelligence du code. L'accent mis sur la qualité des données et les stratégies d'entraînement ciblées offre des insights précieux pour le développement futur des LLM de code.

Source(s) :

OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models