- Publié le
- 2 min0Commentaires
Hymba est une nouvelle architecture pour les petits modèles de langage qui combine les mécanismes d'attention des transformers avec les modèles d'espace d'état (SSMs) dans une structure parallèle à têtes hybrides.
Lire la suite