Pendukung edge computing dan on-device AI mungkin terlalu optimis. Masalah utama saat ini adalah: kapasitas memori dan bandwidth menjadi hambatan nyata dari arsitektur ini.

Dari segi teknologi, model AI offline meskipun mengurangi latensi jaringan, terbatas oleh kendala memori perangkat lokal, sehingga tantangan besar dalam penerapan model besar. Sebaliknya, komputasi cloud meskipun melibatkan transmisi jaringan, dapat mengakses sumber daya memori yang cukup, yang tetap memiliki keunggulan signifikan dalam penanganan tugas kompleks.

Masalah memori bukan hanya soal kapasitas, tetapi juga melibatkan kecepatan akses dan bandwidth. Jika kekurangan infrastruktur ini tidak diatasi, keunggulan teoretis AI edge sulit sepenuhnya direalisasikan dalam aplikasi nyata.