Наткнулся на этот препринт Neuraxon от Дэвида Виванкоса и Хосе Санчеса — время могло бы быть лучше. Мы сталкиваемся с трудностями с традиционными дизайнами нейронных сетей, а их подход? Переосмыслить вычислительный блок с нуля. Не просто подстраивать гиперпараметры или по-другому накладывать слои. Они ставят под сомнение, как должен выглядеть основной строительный блок. Кажется, это одна из тех статей, которые либо игнорируют, либо изменят то, как мы строим системы через два года.