Publicado el24 de noviembre de 2024Hymba: Una arquitectura novedosa para modelos de lenguaje pequeñosHymbaattentioncontextkey-valuelanguage modelstate space modeltransformerHymba es una arquitectura novedosa para modelos de lenguaje pequeños que combina mecanismos de atención de transformadores con modelos de espacio de estados (SSM) en una estructura de cabezales híbridos en paralelo.