Google mengusulkan pendekatan penilaian berkelanjutan untuk rekayasa guna menghadapi tantangan penilaian lingkungan produksi agen AI

Berita ME: Pesan, 4 April (UTC+8). Baru-baru ini, GoogleCloudTech memposting bahwa bergantung pada obrolan manual dan penilaian subjektif (yaitu “pemeriksaan suasana hati”) untuk mengevaluasi agen AI di lingkungan produksi tidak dapat diandalkan, dan dapat memicu bencana. Pandangan di artikel tersebut berpendapat bahwa sifat generatif AI yang berbasis probabilitas membuat perubahan kecil pada prompt atau bobot model dapat menyebabkan penurunan performa yang signifikan. Untuk mengatasi masalah ini, artikel mengusulkan pendekatan rekayasa penerapan evaluasi berkelanjutan (CE). Metode ini membedakan dua mode rekayasa AI: mode eksplorasi (laboratorium) dan mode pertahanan (pabrik). Mode eksplorasi berfokus pada pencarian potensi model melalui sedikit contoh dan pemeriksaan suasana hati; sedangkan mode pertahanan berfokus pada stabilitas, dengan memastikan sistem memenuhi target tingkat layanan (SLO) melalui evaluasi berbasis kumpulan data, kontrol gerbang yang ketat, dan metrik otomatis. Artikel ini memperingatkan bahwa banyak tim akan terus tinggal dalam mode eksplorasi dalam jangka panjang. Artikel ini juga memberi contoh sistem multi-agen terdistribusi (sistem pembuat kursus) yang dibangun berdasarkan Cloud Run dan protokol Agent2Agent, untuk menunjukkan praktik mode pertahanan deployment AI tingkat produksi yang andal dan dapat diskalakan dengan memusatkan perhatian pada prinsip pemisahan kepentingan serta agen khusus (seperti peneliti, juri, pembangun konten, dan koordinator). (Sumber: InFoQ)