Скануйте, щоб завантажити додаток Gate
qrCode
Більше варіантів завантаження
Не нагадувати сьогодні

ШІ потребує більше сховища, а не більше обчислювальної потужності

robot
Генерація анотацій у процесі

Недавній аналіз Tianfeng Securities приносить цікаву перспективу: справжнім вузьким місцем у штучному інтелекті є не потужність обробки, а зберігання.

Що відбувається?

Індустрія переходить від “більше обчислювати” до “розумніше зберігати”. Замість того, щоб продовжувати збільшувати DRAM та HBM (надзвичайно дорогі )пам'яті, векторні дані, такі як KVCache, перемістяться на SSD великої ємності. Це в основному використання дешевих накопичувачів для заміни дорогих пам'ятей.

Чому це важливо

Ця трансформація приносить три ключові переваги:

  • Найнижча затримка першого токена → швидші відповіді ШІ
  • Вищий показник інференції → більше запитів обробляється одночасно
  • Значно знижені витрати на інференцію → зробити ІІ більш доступним в масштабах

Іншими словами: ШІ буде швидшим і набагато дешевшим у експлуатації.

Ринкова можливість

Це призводить до збільшення попиту на SSD значно вище історичних прогнозів. Виробники зберігання можуть стати справжніми переможцями цієї технологічної зміни, а не обов'язково виробники чіпів.

Резюме: Наступна хвиля зростання в ІТ не приходить з GPU, а з накопичувачів.

Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
0/400
Немає коментарів
  • Закріпити