Вчера вышла статья в The New Yorker, о которой я не могу перестать думать. В основном, исследователи там взяли интервью у более чем 100 человек, связанных с OpenAI, и получили доступ к внутренним документам, которые никогда не публиковались. Что из этого вышло? История гораздо сложнее, чем тот драматический сюжет 2023 года.

Все началось с документа на 70 страниц, который Илья Сутскевер, главный ученый OpenAI, составил в 2023 году. Он собрал сообщения из Slack, коммуникации с отделом кадров, протоколы внутренних совещаний... все для ответа на вопрос: можно ли доверять Саму Алтману, человеку, контролирующему, возможно, самую опасную технологию в истории? Его вывод на первой странице? «Сам демонстрирует последовательный паттерн лжи.»

Меня особенно поразил один конкретный пример. В декабре 2022 года, во время заседания совета, Алтман заявил, что несколько функций GPT-4 уже прошли проверку безопасности. Когда попросили показать документы, выяснилось, что две из самых спорных функций никогда не проходили проверку безопасности. Просто так.

Но это еще не все. Дарьо Амодей, который позже основал Anthropic, оставил более 200 страниц личных заметок, пока работал в OpenAI. Он зафиксировал, как компания шаг за шагом отступала под давлением коммерческих интересов. Особенно его беспокоило то, что когда Microsoft инвестировала в 2019 году, в контракте была оговорка: если другой конкурент найдет более безопасный путь к AGI, OpenAI должна прекратить конкурировать и помогать. Но у Microsoft был право вето на это. В итоге, та гарантия безопасности стала просто бумагой.

Есть один тревожный момент. В середине 2023 года Алтман публично объявил, что OpenAI выделит 20% своей вычислительной мощности для «команды супервыравнивания» — с потенциалом более миллиарда долларов. Но четыре человека, работавшие там, утверждают, что реально выделенная мощность составляла всего 1–2%, и при этом использовалось более старое оборудование. После этого команда была распущена. Когда журналисты попросили интервью у ответственных за исследование экзистенциальной безопасности, пресс-служба OpenAI ответила: «Это не то, что действительно существует.»

Самое свежее: Сара Фрайар, финансовый директор OpenAI, имела серьезные разногласия с Алтманом по поводу IPO. Она считает, что компания не готова, учитывая финансовый риск обещания Алтмана потратить 600 миллиардов на вычислительные мощности. Но странность в том, что она больше не отчитывается напрямую перед Алтманом. Теперь она подчинена Фиджи Симо, которая взяла отпуск на прошлой неделе. Компания, находящаяся в процессе IPO, с генеральным директором и финансовым директором, в разногласиях, CFO не подчиняется CEO, а его начальник — в отпуске. Даже сотрудники Microsoft больше не выдерживают, говоря, что Алтман «исказил факты, нарушил обещания».

Бывший член совета описал Алтмана очень интересно: у него очень сильное желание нравиться при каждой личной встрече, но одновременно он проявляет почти социопатскую безразличие к последствиям обмана других. Это редкое сочетание — и идеальное для продавца.

Вот в чем проблема: если бы Алтман был CEO любой обычной технологической компании, это было бы просто корпоративным слухом. Но OpenAI разрабатывает технологии, которые могут перестроить мировую экономику, использоваться для создания биохимического оружия или кибератак. Бывший главный ученый и бывший руководитель по безопасности считают его ненадежным. Партнеры сравнивают его с SBF. И при этом он хочет вывести компанию на IPO с оценкой выше 850 миллиардов.

Гэри Маркус, профессор ИИ в Нью-Йорке, задал очень прямой вопрос после прочтения всего этого: действительно ли вы чувствуете себя в безопасности, позволяя Алтману самостоятельно решать, стоит ли выпускать модель, которая может изменить судьбу человечества?

Ответ OpenAI сводился к тому, что они в основном ставили под сомнение мотивы источников, не отрицая ничего конкретного. Алтман не ответил на прямые обвинения.

Это история о том, как группа идеалистов, озабоченных рисками ИИ, создала некоммерческую организацию с ясной миссией. Потом технологии продвинулись, пришли огромные инвестиции, капитал потребовал отдачи, и миссия начала сдавать позиции. Команда по безопасности была распущена, люди, задававшие вопросы, — уволены, структура без целей получения прибыли превратилась в коммерческую, а совет, который мог бы закрыть компанию, теперь наполнен союзниками CEO. Более ста свидетелей использовали одно и то же описание: «не ограничено правдой.»