Google propone un método de evaluación continua en ingeniería para abordar los desafíos de evaluación en entornos de producción de agentes de IA

Noticias de ME, mensaje el 4 de abril (UTC+8). Recientemente, GoogleCloudTech publicó un artículo indicando que, en entornos de producción, depender de chats manuales y de percepciones subjetivas (es decir, “controles de ambiente”) para evaluar agentes de IA no es fiable y puede causar una catástrofe. El artículo sostiene que, debido al carácter probabilístico de la IA generativa, incluso cambios mínimos en los prompts o en los pesos del modelo pueden provocar una degradación significativa del rendimiento. Para resolver este problema, el artículo propone un enfoque de ingeniería de Evaluación Continua (CE). Este método distingue dos modos en la ingeniería de IA: el modo de exploración (laboratorio) y el modo de defensa (fábrica). El modo de exploración se centra en buscar el potencial del modelo mediante un pequeño número de ejemplos y controles de ambiente; el modo de defensa, en cambio, se enfoca en la estabilidad, asegurando que el sistema cumpla los objetivos de nivel de servicio (SLO) mediante evaluaciones basadas en conjuntos de datos, un control estricto de acceso y métricas automatizadas. El artículo advierte que muchos equipos se quedan durante mucho tiempo en el modo de exploración. El texto también ofrece un ejemplo de un sistema distribuido de múltiples agentes (el sistema de creadores de cursos) construido sobre Cloud Run y el protocolo Agent2Agent, para mostrar cómo implementar prácticas del modo de defensa para despliegues de IA confiables y escalables a nivel de producción, centradas en el principio de separación de responsabilidades y en agentes especializados (como investigador, juez, constructor de contenido y coordinador). (Fuente: InFoQ)