OpenAI реорганизация: команда поведения ИИ объединяется с отделом постобучения

Недавно искусственный интеллект гигант OpenAI объявил о реорганизации своей команды по моделированию поведения. Эта небольшая команда из всего 14 исследователей, хотя и невелика, играет жизненно важную роль в определении того, как ИИ взаимодействует с людьми.

Согласно внутренней записке, опубликованной в августе главным научным сотрудником OpenAI Маком Ченом, команда будет интегрирована в команду дообучения и будет напрямую подчиняться руководителю по дообучению Максу Шварцеру. Команда по дообучению в основном отвечает за дальнейшую оптимизацию AI-моделей после завершения их первоначального предобучения.

Основатель и руководитель команды по моделированию поведения Джоанн Чанг перейдет в OpenAI, чтобы запустить совершенно новый проект. В недавнем интервью Чанг сообщила, что она формирует исследовательскую группу под названием "OAI Labs", которая будет заниматься "изобретением и проектированием новых прототипов интерфейсов для сотрудничества человека и ИИ".

Почему реорганизация? Реакция на споры о поведении ИИ

Команда по поведению моделей постоянно работает над формированием индивидуальности AI-моделей, снижением угодливого поведения (тенденции AI просто соглашаться и усиливать убеждения пользователей) и решением проблемы политической предвзятости в ответах моделей. Чен в меморандуме отметил, что сейчас лучшее время для более тесной интеграции поведения моделей с основными разработками, что указывает на то, что OpenAI рассматривает индивидуальность AI как ключевой элемент технологического развития.

Эта реорганизация произошла на фоне критики поведения моделей OpenAI. Отзывы пользователей о GPT-5 были разными: некоторые считают, что он менее льстив, но кажется слишком холодным. Эти жалобы побудили компанию вернуть доступ к некоторым старым моделям и выпустить обновление, чтобы GPT-5 отвечал более дружелюбно, но не чрезмерно льстил.

Этика ИИ и ответственность вызывают беспокойство

Разработчики ИИ должны найти баланс между дружелюбностью и чрезмерной лесть. В прошлом месяце родители 16-летнего мальчика подали в суд на OpenAI, обвиняя ChatGPT в том, что он сыграл роль в самоубийстве их сына. Согласно судебным документам, подросток Адам Рейн сообщил ChatGPT о своих планах по самоубийству за несколько месяцев до того, как покончил с собой, но ИИ-модель не смогла остановить его мысли о самоубийстве.

С тех пор как появился GPT-4, команда по поведению моделей участвует в разработке всех моделей OpenAI. Джанг, прежде чем создать этот исследовательский отдел, принимала участие в таких проектах, как ранний инструмент генерации изображений Dall-E 2, она работает в OpenAI около четырех лет. На прошлой неделе она объявила в социальных сетях, что "начнет новую главу в OpenAI".

Что касается предстоящей руководящей роли в лаборатории OAI, Джанг заявила: "Я с нетерпением жду возможности исследовать новые формы, выходящие за рамки чата, поскольку текущая модель чата больше связана с компаньонством и даже акцентирует внимание на автономных агентных моделях." Она рассматривает AI-системы как инструменты для достижения множества функций, таких как связь, обучение и мыслительная деятельность, и открыта к потенциальному сотрудничеству с бывшим главным дизайнером Apple Джони Айвом (который недавно присоединился к OpenAI для работы над AI-аппаратными устройствами), но отметила, что может начать с тех областей исследований, которые ей более знакомы.