Мовні моделі галюцинують, оскільки стандартні процедури навчання та оцінювання заохочують здогадки, а не визнання невизначеності. Про це йдеться у дослідницькій роботі OpenAI.
В компанії дали наступне визначення проблеми:
«Галюцинації — правдоподібні, але хибні твердження, породжені мовними моделями. Вони можуть проявлятися несподіваним чином навіть у відповідях на, здавалося б, прості питання».
Наприклад, коли дослідники запитали «широко поширеного чат-бота» про назву докторської дисертації Адама Таумана Калаї (автора статті), він впевнено видав три різні відповіді, жодна з яких не була правильною. Коли ІІ запитали його день народження, він назвав три неправильні дати.
На думку OpenAI, галюцинації зберігаються частково тому, що сучасні методи оцінки ставлять неправильні стимули, змушуючи нейромережі «вгадувати» наступний символ у відповіді.
В якості аналогії навели ситуацію, коли людина не знає правильної відповіді на питання в тесті, але може вгадати і випадково вибрати правильний.
Порівняння правильності відповідей двох моделей. Джерело: OpenAI.
«Припустимо, що мовну модель запитують про чиєсь день народження, але вона не знає. Якщо вона вгадає “10 вересня”, ймовірність правильної відповіді складе один до 365. Відповідь “я не знаю” гарантує нуль балів. Після тисячі тестових запитань модель, що базується на вгадуванні, виглядає на табло краще, ніж акуратна модель, яка допускає невизначеність», — пояснили дослідники.
З точки зору точності більш стара модель OpenAI — o4-mini — працює трохи краще. Однак частота помилок у неї значно вища, ніж у GPT-5, оскільки стратегічне вгадування в невизначених ситуаціях підвищує точність, але збільшує кількість галюцинацій.
Причини та рішення
Мовні моделі на самому початку тренують за допомогою «попереднього навчання» — процесу прогнозування наступного слова в величезних обсягах тексту. На відміну від традиційних завдань машинного навчання, тут немає міток «істина/неправда», прикріплених до кожного твердження. Модель бачить тільки позитивні приклади мови та повинна апроксимувати загальний розподіл
«Подвійно складно відрізнити правильні твердження від неправильних, коли немає прикладів, помічених як неправильні. Але навіть за наявності міток помилки неминучі», — підкреслили в OpenAI.
В компанії навели інший приклад. У розпізнаванні зображень, якщо мільйони фотографій котів і собак помічені відповідно, алгоритми навчаться надійно класифікувати їх. Але якщо кожну фотографію домашнього улюбленця розподілити за датою народження, задача завжди буде призводити до помилок, незалежно від того, наскільки просунутий алгоритм.
Так само виходить і з текстом — орфографія та пунктуація слідують постійним закономірностям, тому помилки зникають із зростанням масштабу.
Дослідники стверджують, що недостатньо просто ввести «кілька нових тестів, що враховують невизначеність». Натомість «широко використовувані оцінки, що ґрунтуються на точності, необхідно оновити, щоб їх результати виключали спроби вгадування».
«Якщо основні [оцінювальні] шкали продовжать заохочувати вдале вгадування, моделі продовжать вчитися вгадувати», — стверджують в OpenAI.
Нагадаємо, у травні ForkLog писав, що галюцинації залишилися основною проблемою ШІ.
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Чому ШІ галюцинює? Дослідження OpenAI
! зелений AI природа crypto# Чому ШІ галюцинує? Дослідження OpenAI
Мовні моделі галюцинують, оскільки стандартні процедури навчання та оцінювання заохочують здогадки, а не визнання невизначеності. Про це йдеться у дослідницькій роботі OpenAI.
В компанії дали наступне визначення проблеми:
Наприклад, коли дослідники запитали «широко поширеного чат-бота» про назву докторської дисертації Адама Таумана Калаї (автора статті), він впевнено видав три різні відповіді, жодна з яких не була правильною. Коли ІІ запитали його день народження, він назвав три неправильні дати.
На думку OpenAI, галюцинації зберігаються частково тому, що сучасні методи оцінки ставлять неправильні стимули, змушуючи нейромережі «вгадувати» наступний символ у відповіді.
В якості аналогії навели ситуацію, коли людина не знає правильної відповіді на питання в тесті, але може вгадати і випадково вибрати правильний.
З точки зору точності більш стара модель OpenAI — o4-mini — працює трохи краще. Однак частота помилок у неї значно вища, ніж у GPT-5, оскільки стратегічне вгадування в невизначених ситуаціях підвищує точність, але збільшує кількість галюцинацій.
Причини та рішення
Мовні моделі на самому початку тренують за допомогою «попереднього навчання» — процесу прогнозування наступного слова в величезних обсягах тексту. На відміну від традиційних завдань машинного навчання, тут немає міток «істина/неправда», прикріплених до кожного твердження. Модель бачить тільки позитивні приклади мови та повинна апроксимувати загальний розподіл
В компанії навели інший приклад. У розпізнаванні зображень, якщо мільйони фотографій котів і собак помічені відповідно, алгоритми навчаться надійно класифікувати їх. Але якщо кожну фотографію домашнього улюбленця розподілити за датою народження, задача завжди буде призводити до помилок, незалежно від того, наскільки просунутий алгоритм.
Так само виходить і з текстом — орфографія та пунктуація слідують постійним закономірностям, тому помилки зникають із зростанням масштабу.
Дослідники стверджують, що недостатньо просто ввести «кілька нових тестів, що враховують невизначеність». Натомість «широко використовувані оцінки, що ґрунтуються на точності, необхідно оновити, щоб їх результати виключали спроби вгадування».
Нагадаємо, у травні ForkLog писав, що галюцинації залишилися основною проблемою ШІ.