Entrenamiento en Tiempo de Prueba para Razonamiento Abstracto

Este artículo explora el uso del Entrenamiento en Tiempo de Prueba (TTT) para mejorar las capacidades de razonamiento abstracto de los modelos de lenguaje grandes (LLMs), centrándose específicamente en el benchmark del Corpus de Abstracción y Razonamiento (ARC). Los autores argumentan que la actualización dinámica de los parámetros del modelo durante la inferencia, utilizando una pérdida derivada de los datos de entrada, puede mejorar significativamente el rendimiento en tareas de razonamiento novedosas.

El Ajuste Fino Dirigido y la Aumentación de Datos son Cruciales

El pre-entrenamiento del LLM en tareas sintéticas similares a ARC, combinado con una nueva estrategia de aumento de datos "leave-one-out" durante el TTT, demostró ser esencial para obtener ganancias efectivas en el rendimiento. Esta estrategia implica crear nuevos ejemplos de entrenamiento omitiendo iterativamente un ejemplo del conjunto de entrenamiento original y aplicando varias transformaciones invertibles (rotaciones, volteos, permutaciones de color, etc.) a los ejemplos restantes.

La Adaptación por Instancia Mejora el Rendimiento

El entrenamiento de adaptadores específicos para cada tarea utilizando Low-Rank Adaptation (LoRA) para cada tarea de ARC superó significativamente el uso de un adaptador compartido en todas las tareas. Este entrenamiento individualizado permite que el modelo especialice sus parámetros para cada problema de razonamiento único.

Inferencia Aumentada con Autoconsistencia Mejora las Predicciones

Una estrategia de inferencia aumentada, que implica aplicar transformaciones geométricas invertibles a la entrada y agregar predicciones a través de un esquema de votación jerárquica, aumentó aún más la precisión. Este enfoque aprovecha las simetrías inherentes dentro de las tareas de ARC para generar múltiples candidatos de predicción y seleccionar los más consistentes.

Fuente(s):

• The Surprising Effectiveness of Test-Time Training for Abstract Reasoning