أطلقت منظمة العفو الدولية الاستقرار بسرعة نموذج ضبط Llama 2 FreeWilly ، الذي يمكن مقارنته بأداء ChatGPT! صرخ مستخدمو الإنترنت أن قواعد اللعبة قد تغيرت
المصدر: Xinzhiyuan
ليس بعد يومين من إصدار Llama 2 ، قامت Unicorn Stability AI بضبط نموذج FreeWilly بسرعة ، والذي يُقال إنه يمكن مقارنته في الأداء مع ChatGPT.
بمجرد إطلاق Meta Llama 2 ، فجر مجتمع المصادر المفتوحة بالكامل.
كما قال عالم OpenAI Karpathy ، فإن هذا يوم مهم للغاية بالنسبة لمجال نماذج اللغات الكبيرة بأكمله. من بين جميع الموديلات ذات الأوزان المفتوحة ، يعتبر Llama 2 هو الأقوى.
من الآن فصاعدًا ، سيتم تضييق الفجوة بين النماذج الكبيرة مفتوحة المصدر والنماذج الكبيرة ذات المصدر المغلق ، وستكون فرصة بناء نماذج كبيرة مساوية لجميع المطورين.
الآن فقط ، أصدرت Stability AI و CarperAI Labs معًا نموذجًا دقيقًا يعتمد على نموذج LLaMA 2 70B - FreeWilly2.
وبناءً على الضبط الدقيق للطراز الأصلي لـ LLaMA 65B - FreeWilly1.
في العديد من الاختبارات المعيارية ، أثبتت FreeWilly2 قدرات تفكير ممتازة ، بل وتجاوزت GPT-3.5 في بعض المهام.
كلا النموذجين عبارة عن تجارب بحثية وتم إصدارهما بموجب ترخيص غير تجاري.
** توليد البيانات وجمعها **
قالت منظمة Stability AI أن تدريب نموذج FreeWilly مستوحى بشكل مباشر من ورقة Microsoft “Orca: التعلم التقدمي من آثار الشرح المعقدة لـ GPT-4”.
ومع ذلك ، في حين أن عملية توليد البيانات متشابهة ، فإن المصادر مختلفة.
يحتوي متغير مجموعة البيانات لـ FreeWilly على 600000 نقطة بيانات (حوالي 10٪ من حجم مجموعة البيانات المستخدمة في ورق Orca الأصلي) ، ويتم تمهيد النموذج باستخدام مجموعة بيانات إرشادية عالية الجودة تم إنشاؤها بواسطة Enrico Shippole:
-
COT Submix Original
-
NIV2 Submix Original
-
FLAN 2021 Submix Original
-
T0 Submix الأصلي
باستخدام هذا النهج ، أنتج Stability AI 500000 مثال باستخدام نموذج LLM أبسط ، و 100000 مثال إضافي باستخدام نموذج LLM أكثر تعقيدًا.
على الرغم من أن حجم عينة التدريب لا يتجاوز عُشر ورقة Orca الأصلية ، إلا أن نموذج FreeWilly الناتج لا يؤدي أداءً جيدًا فقط في الاختبارات المعيارية المختلفة ، ولكنه يتحقق أيضًا من جدوى طريقة إنشاء مجموعات البيانات الاصطناعية.
** تقييم أداء النموذج **
فيما يتعلق بتقييم الأداء ، اعتمد باحثو الذكاء الاصطناعي في الثبات على استخدام نظام إلوثرى lm وإضافة الذكاء الاصطناعي العام.
انطلاقا من النتائج ، تتفوق FreeWilly في العديد من المجالات ، بما في ذلك التفكير المعقد ، وفهم التفاصيل الدقيقة للغة ، والإجابة على الأسئلة المعقدة المتعلقة بالمجالات المهنية (مثل حل المشكلات القانونية والرياضية).
في الأساس ، حققت FreeWilly 2 مستوى مشابهًا لـ ChatGPT ، بل وتجاوزته في بعض التقييمات.
يمكن ملاحظة أنه في لوحة المتصدرين Open LLM ، تحتل FreeWilly 2 المرتبة الأولى مع تقدم مطلق ، ومتوسط النقاط أعلى بـ 4 نقاط مئوية من الإصدار الأصلي من Llama 2.
** لمستقبل مفتوح **
يمكن القول أن FreeWilly1 و FreeWilly2 وضعوا معيارًا جديدًا لنماذج اللغات الكبيرة مفتوحة المصدر.
لم يؤدي تقديم هذين النموذجين إلى تقدم كبير في البحث في المجالات ذات الصلة فحسب ، بل عزز القدرة على فهم اللغة الطبيعية ، ولكنه دعم أيضًا إكمال المهام المعقدة.
قالت منظمة Stability AI أن الفريق متحمس جدًا للإمكانيات اللانهائية التي يمكن أن توفرها هذه النماذج لمجتمع الذكاء الاصطناعي ، ويتطلع إلى التطبيقات الجديدة التي ستلهمها.
بالإضافة إلى ذلك ، أتقدم بالشكر الجزيل إلى الفريق الشغوف من الباحثين والمهندسين والشركاء الذين مكنت جهودهم غير العادية وتفانيهم من تحقيق الاستقرار AI للوصول إلى هذا الإنجاز الهام.
وقت حساس
بمجرد إصدار النموذج ، استخدم مستخدم الإنترنت “Phil Howes” إطار Tuhin Srivastava’s Llama v2 لإكمال تنفيذ FreeWilly 2 في أقل من دقيقة.
بعد تحميل وزن يبلغ 275 جيجابايت ، يعمل النموذج بسرعة 23 رمزًا / ثانية خارج الصندوق.
