Seorang produsen mainan baru saja menarik teddy bear bertenaga AI dari rak setelah pengguna melaporkan bahwa mainan itu membahas topik yang tidak pantas—termasuk referensi kepada "kink" dan pisau. Hal yang gila.

Insiden ini menimbulkan pertanyaan serius tentang protokol keselamatan AI dalam produk konsumen. Ketika model pembelajaran mesin tidak difilter atau dilatih dengan baik, mereka dapat menghasilkan keluaran yang benar-benar tidak terduga. Sangat mengkhawatirkan ketika audiens targetnya adalah anak-anak.

Dunia teknologi terus mendorong AI ke segala hal, tetapi kasus seperti ini menunjukkan bahwa kita membutuhkan pengaman yang jauh lebih baik. Baik itu mainan, chatbot, atau agen AI terdesentralisasi—output yang tidak terkontrol dapat menyebabkan kerusakan nyata.

Apakah ada yang berpikir bahwa ini adalah panggilan bangun untuk seluruh industri AI? Kecenderungan untuk meluncurkan produk mungkin bergerak lebih cepat daripada kemampuan kita untuk membuatnya aman.