PhoneLM : Modèles de Langage Efficaces pour les Appareils Mobiles

PhoneLM représente une avancée significative dans le développement de petits modèles de langage (SLMs) pour un déploiement sur appareil. En privilégiant une conception adaptée au matériel et des principes open-source, PhoneLM établit une nouvelle norme pour des SLMs efficaces et performants.

Conception Adaptée au Matériel

PhoneLM souligne l'importance d'adapter l'architecture des SLMs au matériel spécifique de l'appareil cible, comme les smartphones. Cette approche garantit que l'efficacité en temps d'exécution du modèle est optimisée dès le départ, plutôt que de dépendre d'ajustements post-entraînement.

Efficacité et Performances

Les modèles PhoneLM, en particulier PhoneLM-1.5B, démontrent des performances en temps d'exécution supérieures par rapport à d'autres SLMs de taille similaire. Cela est réalisé grâce à un processus exhaustif de recherche d'architecture qui identifie les configurations les plus efficaces pour le matériel cible.

Open-Source et Reproductibilité

PhoneLM est entièrement open-source, incluant le code, les poids et les jeux de données d'entraînement. Cette transparence permet la reproductibilité et un développement ultérieur par la communauté. De plus, une démonstration Android de bout en bout met en avant les capacités de PhoneLM dans des applications réelles.

Performances sur les Benchmarks

PhoneLM-1.5B obtient des résultats compétitifs sur divers benchmarks NLP, égalant ou surpassant les performances d'autres SLMs de pointe entraînés sur des jeux de données ouverts. Cela souligne son efficacité à équilibrer efficacité et performances.

Source(s) :

• PhoneLM: an Efficient and Capable Small Language Model Family through Principled Pre-training