النماذج اللغوية تهلوس لأنها تشجع التخمينات وليس الاعتراف بعدم اليقين، وذلك وفقاً لورقة بحثية من OpenAI.
في الشركة قدموا التعريف التالي للمشكلة:
«الهلاوس هي تصريحات تبدو صحيحة ولكنها خاطئة، تنتجها نماذج اللغة. يمكن أن تظهر بشكل غير متوقع حتى في الإجابات على أسئلة تبدو بسيطة».
على سبيل المثال، عندما سأل الباحثون "الروبوت الدردشة الشائع" عن عنوان أطروحة الدكتوراه لآدم تاومان كالا (مؤلف المقال)، قدم بثقة ثلاث إجابات مختلفة، لم يكن أي منها صحيحًا. عندما سُئل الذكاء الاصطناعي عن عيد ميلاده، ذكر ثلاث تواريخ غير صحيحة.
وفقًا لـ OpenAI، تستمر الهلوسات جزئيًا لأن الأساليب الحديثة للتقييم تضع محفزات غير صحيحة، مما يدفع الشبكات العصبية إلى "تخمين" الرمز التالي في الإجابة.
كمثال، تم الإشارة إلى حالة عندما لا يعرف الشخص الإجابة الصحيحة على سؤال في الاختبار، ولكنه يمكن أن يخمن ويختار الإجابة الصحيحة عن طريق الصدفة.
مقارنة دقة الإجابات لنموذجين. المصدر: OpenAI.
«افترض أن نموذج اللغة يُسأل عن عيد ميلاد شخص ما، لكنه لا يعرف. إذا خمن “10 سبتمبر”، فإن احتمال الإجابة الصحيحة سيكون واحدًا من 365. أما الإجابة “لا أعرف” فهي تضمن صفر نقاط. بعد ألف سؤال تجريبي، يبدو النموذج القائم على التخمين أفضل على الشاشة من النموذج الدقيق الذي يسمح بعدم اليقين»، كما أوضح الباحثون.
من حيث الدقة، تعمل النموذج الأقدم من OpenAI - o4-mini - بشكل أفضل قليلاً. ومع ذلك، فإن معدل الأخطاء لديها أعلى بكثير من GPT-5، حيث أن التخمين الاستراتيجي في المواقف غير المؤكدة يزيد من الدقة ولكنه يزيد من عدد الهلاوس.
أسباب وحلول
تتم تدريب نماذج اللغة في البداية من خلال "التعليم المسبق" - وهي عملية توقع الكلمة التالية في كميات هائلة من النصوص. على عكس المهام التقليدية في تعلم الآلة، لا توجد تسميات "صحيح/خاطئ" مرتبطة بكل بيان. ترى النموذج فقط الأمثلة الإيجابية للغة ويجب أن تقرب التوزيع العام.
«من الصعب مرتين تمييز العبارات الصحيحة عن غير الصحيحة عندما لا توجد أمثلة مميزة على أنها غير صحيحة. ولكن حتى مع وجود علامات، فإن الأخطاء حتمية»، - أكدوا في OpenAI.
قدمت الشركة مثالاً آخر. في التعرف على الصور، إذا تم وضع علامات على ملايين الصور للقطط والكلاب وفقًا لذلك، ستتعلم الخوارزميات تصنيفها بدقة. ولكن إذا تم توزيع كل صورة للحيوان الأليف حسب تاريخ الميلاد، ستكون المهمة دائمًا عرضة للأخطاء، بغض النظر عن مدى تقدم الخوارزم.
تحدث نفس الشيء مع النص - قواعد الإملاء وعلامات الترقيم تتبع أنماط ثابتة، لذلك تختفي الأخطاء مع زيادة الحجم.
يقول الباحثون إنه ليس كافيًا ببساطة إدخال "بعض الاختبارات الجديدة التي تأخذ في الاعتبار عدم اليقين". بدلاً من ذلك، "يجب تحديث التقديرات المستخدمة على نطاق واسع، بناءً على الدقة، بحيث تستبعد نتائجها محاولات التخمين."
«إذا استمرت المقياس [التقييمي] الرئيسية في تشجيع التخمينات الناجحة، ستستمر النماذج في تعلم التخمين»، كما تقول OpenAI.
نذكّر أنه في مايو، كتبت ForkLog أن الهلوسة ظلت المشكلة الرئيسية للذكاء الاصطناعي.
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
لماذا يهلوس الذكاء الاصطناعي؟ دراسة OpenAI
النماذج اللغوية تهلوس لأنها تشجع التخمينات وليس الاعتراف بعدم اليقين، وذلك وفقاً لورقة بحثية من OpenAI.
في الشركة قدموا التعريف التالي للمشكلة:
على سبيل المثال، عندما سأل الباحثون "الروبوت الدردشة الشائع" عن عنوان أطروحة الدكتوراه لآدم تاومان كالا (مؤلف المقال)، قدم بثقة ثلاث إجابات مختلفة، لم يكن أي منها صحيحًا. عندما سُئل الذكاء الاصطناعي عن عيد ميلاده، ذكر ثلاث تواريخ غير صحيحة.
وفقًا لـ OpenAI، تستمر الهلوسات جزئيًا لأن الأساليب الحديثة للتقييم تضع محفزات غير صحيحة، مما يدفع الشبكات العصبية إلى "تخمين" الرمز التالي في الإجابة.
كمثال، تم الإشارة إلى حالة عندما لا يعرف الشخص الإجابة الصحيحة على سؤال في الاختبار، ولكنه يمكن أن يخمن ويختار الإجابة الصحيحة عن طريق الصدفة.
من حيث الدقة، تعمل النموذج الأقدم من OpenAI - o4-mini - بشكل أفضل قليلاً. ومع ذلك، فإن معدل الأخطاء لديها أعلى بكثير من GPT-5، حيث أن التخمين الاستراتيجي في المواقف غير المؤكدة يزيد من الدقة ولكنه يزيد من عدد الهلاوس.
أسباب وحلول
تتم تدريب نماذج اللغة في البداية من خلال "التعليم المسبق" - وهي عملية توقع الكلمة التالية في كميات هائلة من النصوص. على عكس المهام التقليدية في تعلم الآلة، لا توجد تسميات "صحيح/خاطئ" مرتبطة بكل بيان. ترى النموذج فقط الأمثلة الإيجابية للغة ويجب أن تقرب التوزيع العام.
قدمت الشركة مثالاً آخر. في التعرف على الصور، إذا تم وضع علامات على ملايين الصور للقطط والكلاب وفقًا لذلك، ستتعلم الخوارزميات تصنيفها بدقة. ولكن إذا تم توزيع كل صورة للحيوان الأليف حسب تاريخ الميلاد، ستكون المهمة دائمًا عرضة للأخطاء، بغض النظر عن مدى تقدم الخوارزم.
تحدث نفس الشيء مع النص - قواعد الإملاء وعلامات الترقيم تتبع أنماط ثابتة، لذلك تختفي الأخطاء مع زيادة الحجم.
يقول الباحثون إنه ليس كافيًا ببساطة إدخال "بعض الاختبارات الجديدة التي تأخذ في الاعتبار عدم اليقين". بدلاً من ذلك، "يجب تحديث التقديرات المستخدمة على نطاق واسع، بناءً على الدقة، بحيث تستبعد نتائجها محاولات التخمين."
نذكّر أنه في مايو، كتبت ForkLog أن الهلوسة ظلت المشكلة الرئيسية للذكاء الاصطناعي.