Transformer

Hymba est une nouvelle architecture pour les petits modèles de langage qui combine les mécanismes d'attention des transformers avec les modèles d'espace d'état (SSMs) dans une structure parallèle à têtes hybrides.