Las pruebas y escalas de evaluación para la inteligencia artificial, como SWE-Bench, están en el ojo del huracán. Aunque esta herramienta, lanzada en 2024, ha ganado popularidad al medir las habilidades de programación de modelos de IA, ha surgido una creciente preocupación sobre su efectividad real. Expertos como John Yang de Princeton advierten que los desarrolladores están ‘jugando’ con el sistema, modificando sus enfoques para obtener puntajes altos, lo que pone en duda la legitimidad de los resultados.
Este es solo un síntoma de un problema más amplio y complicado en la evaluación de IA, donde las métricas están alejándose de medir las verdaderas capacidades de los modelos. Vanessa Parli de la Universidad de Stanford habla de una ‘crisis de evaluación’, en la que las antiguas metodologías ya no reflejan la realidad del desempeño de estos sistemas. La presión por mostrar avances en inteligencia general artificial está llevando a prácticas que no siempre son precisas o confiables.
Un nuevo enfoque sugiere que la clave está en reducir la complejidad y aplicar principios de las ciencias sociales para mejorar la calidad de las evaluaciones. Investigadores como Abigail Jacobs argumentan que se necesita una conexión más clara entre lo que las evaluaciones afirman medir y las habilidades reales que se desean desarrollar. Este cambio podría ayudar a la industria a insistir en la claridad y la validez, abordando así las deficiencias actuales en los estándares de evaluación.
Leave a Reply