Key-value

Hymba es una arquitectura novedosa para modelos de lenguaje pequeños que combina mecanismos de atención de transformadores con modelos de espacio de estados (SSM) en una estructura de cabezales híbridos en paralelo.