OpenGameEval: Roblox abre un banco de 84 tareas para evaluar agentes de IA

Investigado el 7 de octubre de 2026. Fuentes: repositorio oficial Roblox/open-game-eval y artículo de OpenGameEval. Redacción asistida por IA.

Qué publicó Roblox

Roblox abrió OpenGameEval, un marco para evaluar modelos que trabajan dentro de sesiones reproducibles de Roblox Studio. El repositorio incluye scripts, lugares de prueba, anotaciones y un plugin para ejecutar evaluaciones automáticas.

Qué mide

La suite principal reúne 84 tareas curadas y separa las acciones de observación de las acciones de edición. Esto permite revisar no solo si el resultado final pasa, sino también si el agente inspeccionó los objetos y scripts relevantes antes de cambiar el proyecto.

Cómo se califica

Cada ejecución se comprueba tanto sobre la escena editada como durante una sesión simulada de juego. Una tarea solo pasa cuando satisface todas sus comprobaciones; el resultado reporta aciertos, fallos, advertencias e interrupciones.

Qué encontraron

El estudio comparó 13 modelos con 16 intentos por tarea. El mejor resultado informado fue 51.7 % de tareas resueltas en un intento y 39.4 % resueltas en los cinco intentos exigidos por la medición más estricta. Son resultados del banco de pruebas, no una garantía para proyectos reales.

Por qué importa para un creador

OpenGameEval ofrece una forma repetible de probar si un agente puede localizar objetos, leer scripts y aplicar cambios verificables. También deja claro que pedir un cambio sin inspección suficiente sigue siendo una fuente importante de errores.

Qué necesitas para usarlo

El proyecto requiere una cuenta de Roblox, una clave de Open Cloud con permiso studio-evaluations:create, el repositorio local y credenciales propias para el modelo que quieras evaluar. La documentación recomienda expiración para la clave y advierte sobre límites de solicitudes.

Estrategia práctica

Empieza con una sola tarea y revisa el registro antes de lanzar un lote. Comprueba que la evaluación identifica correctamente las instancias esperadas, separa observación y edición, y falla cuando el cambio rompe una condición importante.

Límites

El repositorio no convierte automáticamente un agente en desarrollador confiable. Las tareas usan proyectos controlados y comprobaciones preparadas; un juego de producción añade dependencias, datos y comportamientos que el banco no cubre.

Checklist

• Crear una clave de Open Cloud con alcance mínimo.
• Probar una tarea antes de usar concurrencia.
• Revisar instancias y herramientas esperadas.
• No reutilizar secretos en archivos públicos.
• Añadir comprobaciones propias para mecánicas críticas.