Transformer

  • Veröffentlicht am
    2 min0Kommentare
    Hymba ist eine neuartige Architektur für kleine Sprachmodelle, die Transformer-Aufmerksamkeitsmechanismen mit State-Space-Modellen (SSMs) in einer Hybrid-Head-Parallelstruktur kombiniert.
    Weiterlesen