Representational-similarity

Diese Zusammenfassung untersucht das Konzept der Feature-Universalität in großen Sprachmodellen (LLMs) unter Verwendung von spärlichen Autoencodern (SAEs), wie in 'Sparse Autoencoders Reveal Universal Feature Spaces Across Large Language Models' (Lan et al., 2024) vorgestellt. Die Forschung zielt darauf ab, festzustellen, ob verschiedene LLMs ähnliche interne Repräsentationen von Konzepten in ihren Zwischenschichten entwickeln.