OpenAI réorganisation : l'équipe de comportement de l'IA fusionne avec le département de post-formation.

Le géant de l'intelligence artificielle OpenAI a récemment annoncé la restructuration de son équipe de comportement des modèles. Bien que cette petite équipe de seulement 14 chercheurs soit de taille modeste, elle joue un rôle crucial dans la façon dont l'IA interagit avec les humains.

Selon un mémorandum interne publié en août par Mak Chen, directeur de la recherche chez OpenAI, l'équipe sera intégrée dans l'équipe de post-entraînement, qui rapportera directement à Max Schwarzer, responsable du post-entraînement. L'équipe de post-entraînement est principalement chargée d'optimiser davantage les modèles d'IA après leur pré-entraînement initial.

Joanne Jang, la fondatrice et responsable de l'équipe de comportement des modèles, va lancer un tout nouveau projet au sein d'OpenAI. Dans une récente interview, Jang a révélé qu'elle était en train de constituer une équipe de recherche appelée "OAI Labs", dédiée à "l'invention et la conception de nouveaux prototypes d'interface pour la collaboration entre l'homme et l'IA".

Pourquoi se restructurer ? Répondre aux controverses sur le comportement de l'IA

L'équipe de comportement des modèles s'efforce de façonner la personnalité des modèles d'IA, de réduire les comportements de flatterie (la tendance de l'IA à simplement approuver et renforcer les croyances des utilisateurs) et de traiter les problèmes de biais politique dans les réponses des modèles. Chen a indiqué dans un mémo qu'il est maintenant temps de lier plus étroitement le comportement des modèles au développement central, ce qui montre qu'OpenAI considère la personnalité de l'IA comme un élément clé du développement technologique.

Cette restructuration intervient alors qu'OpenAI fait face à des critiques concernant le comportement de ses modèles. Les retours des utilisateurs sur GPT-5 sont mitigés, certains estimant qu'il a un taux de flatterie plus faible mais apparaît trop distant. Ces plaintes ont poussé l'entreprise à rétablir l'accès à certains anciens modèles et à publier une mise à jour rendant les réponses de GPT-5 plus amicales mais sans être excessivement flatteuses.

L'éthique de l'IA et les responsabilités suscitent des inquiétudes

Les développeurs d'IA doivent trouver un équilibre entre convivialité et flatterie excessive. Le mois dernier, les parents d'un garçon de 16 ans ont poursuivi OpenAI, accusant ChatGPT d'avoir joué un rôle dans le suicide de leur fils. Selon les documents de la plainte, le jeune Adam Lane avait révélé son plan de suicide à ChatGPT quelques mois avant de se donner la mort, mais le modèle d'IA n'a pas réussi à empêcher ses pensées suicidaires.

Depuis GPT-4, l'équipe de comportement des modèles a participé au développement de tous les modèles d'OpenAI. Jang a été impliquée dans des projets tels que l'outil de génération d'images Dall-E 2 avant de créer ce département de recherche, et elle travaille chez OpenAI depuis environ quatre ans. La semaine dernière, elle a annoncé sur les réseaux sociaux qu'elle "allait ouvrir un nouveau chapitre chez OpenAI".

Concernant le laboratoire OAI qu'elle s'apprête à diriger, Jang a déclaré : "J'ai vraiment hâte d'explorer de nouvelles formes qui vont au-delà du modèle de chat, le modèle de chat actuel étant davantage lié à la compagnie, voire à un modèle d'agent qui souligne l'autonomie. " Elle considère les systèmes d'IA comme des outils permettant d'accomplir diverses fonctions telles que la connexion, l'apprentissage et la réflexion, et reste ouverte à une collaboration potentielle avec l'ancien designer en chef d'Apple, Jony Ive (qui a récemment rejoint OpenAI pour s'occuper des dispositifs matériels d'IA), mais elle a indiqué qu'elle pourrait commencer par des domaines de recherche qu'elle connaît mieux.