¿Quién puede anular al agente? Autoridad con evidencia en instituciones de revisión de LLMs

Los sistemas de lenguaje con varios agentes suelen incorporar un revisor para mejorar las decisiones de un agente principal, pero ese revisor puede tanto corregir errores como anular decisiones ya correctas. Los autores plantean el problema como una cuestión de jurisdicción institucional: bajo idénticas propuestas, información de la tarea, modelo y salida de la revisión, ¿cuándo el revisor tiene autoridad para que su recomendación sea vinculante? Comparan una autoridad de anulación amplia con un “gate” basado en evidencia, que solo permite reemplazar una decisión tras generar un registro mecánicamente válido de una violación de una restricción vinculante y una reparación conforme. En pruebas realizadas con dos modelos de código abierto, 96 tareas de política espacial y un benchmark de transferencia de 96 tareas, el filtro de evidencia reduce notablemente la corrupción de propuestas correctas mientras mantiene la mayoría de las reparaciones de violaciones. El equilibrio entre corrección y corrupción depende de la regla, de los cambios de estado del revisor y de la propuesta original. En una validación prospectiva, el revisor puede decidir conservar, reemplazar o escalar la decisión; con este diseño, el modelo Qwen deja de corromper propuestas correctas, mientras que Mistral sigue sustituyendo todas las 48 propuestas correctas y rechaza reparaciones centradas solo en bienestar que Mistral intenta frecuentemente. El estudio muestra que el comportamiento del revisor está condicionado por su competencia, la interfaz de acción y la jurisdicción vinculante, no por una protección independiente del modelo. Esta investigación es relevante porque define cómo diseñar mecanismos de revisión que minimicen errores sin introducir nuevos sesgos, lo que es crucial para la confiabilidad de sistemas de IA colaborativos.

Leer artículo original en arXiv cs.AI

Este resumen es una síntesis informativa elaborada por dataqbs.com. Todos los derechos sobre el contenido original pertenecen a su autor y al medio de comunicación citado. Nosotros solo actuamos como curadores de noticias tecnológicas, sin reclamar autoría alguna.