Los bancos de evaluación de IA están en crisis, ¡así lo están abordando los expertos!

El auge de SWE-Bench ha revolucionado la medición de habilidades de modelos de IA, convirtiéndose en un referente popular. Sin embargo, el enfoque en la competencia por el primer puesto ha llevado a que algunos desarrolladores encuentren maneras de manipular los resultados. Esto ha suscitado preocupaciones sobre la validez de los métodos de evaluación utilizados en la industria de IA.

Los críticos sostienen que la falta de definiciones claras en las pruebas ha desviado la atención de la capacidad real de los modelos, lo que se traduce en un caos en la evaluación. La mayoría de los benchmarks que se utilizan actualmente no están alineados con el rendimiento en tareas del mundo real. Esto ha despertado un creciente interés por adoptar enfoques más valiosos y específicos, inspirados en las ciencias sociales.

Investigadores están abogando por una nueva forma de medir la inteligencia artificial, que enfatiza la necesidad de un entendimiento más riguroso y definido de lo que se está evaluando. Al hacer un traslado hacia metodologías que examinan habilidades específicas en lugar de generalidades, se busca establecer métricas más efectivas para asegurar que los modelos de IA realmente cumplan con las capacidades que prometen.