لماذا النماذج ضخمة إلى هذا الحد

الدرس 21 من 23 في دورة «أساسيات الذكاء الاصطناعي». مجاني، مع رسوم متحركة واختبار.

المعامِل: مقبض ضبط واحد

داخل النموذج مليارات الأرقام، ويُسمّى كل رقم منها معامِلًا (parameter). أثناء التدريب يقرأ النموذج النص ويخمّن الكلمة التالية، وحين يخطئ يعدّل معاملاته قليلًا، مثل مقابض جهاز الـDJ. المقبض الواحد لا يعني شيئًا وحده، لكنها معًا تحفظ أنماط اللغة التي تعلّمها. مقابض أكثر: مساحة أكبر للأمور الدقيقة مثل السخرية أو الأسلوب.

ثلاثة مكوّنات للنموذج الكبير

يقوم حجم النموذج على ثلاثة أشياء. المعاملات: كم مقبضًا لديه. البيانات: كم نصًا قرأ، وتُحسب بالرموز (tokens)، أي قطع النص الصغيرة. الحوسبة: كم عملية حسابية أُجريت أثناء التدريب، أي كم شريحة إلكترونية عملت وكم من الوقت. إنها آلاف الشرائح القوية وكهرباء هائلة وأموال طائلة. مكوّن واحد لا يكفي: نموذج كبير على بيانات قليلة سيخرج ضعيفًا.

كل خطوة تعطي أقل

إذا زدت المكوّنات الثلاثة، يتحسن النموذج عادةً. يُسمّى هذا النمط قانون التوسّع. لكن المنحنى في الصورة يصعد بحدة أولًا ثم يتسطح. مثل رفع المستوى في لعبة: المستويات الأولى تأتي بسرعة، وكل مستوى بعدها يحتاج خبرة أكثر فأكثر. مثال: رفع النموذج من «مقبول» إلى «جيد» أسهل من رفعه من «جيد» إلى «شبه خالٍ من الأخطاء».

النصوص الجيدة تنفد

قرأت النماذج بالفعل جزءًا هائلًا من الإنترنت المفتوح، ولا تظهر نصوص بشرية جديدة عالية الجودة بالسرعة نفسها. كثير من المواقع صارت تمنع استخدام نصوصها في التدريب. وفوق ذلك، يزداد في الشبكة عدد النصوص التي كتبها الذكاء الاصطناعي نفسه. إذا تعلّم النموذج منها فقد يرث أخطاء غيره، كما في المخطط. الخلاصة لك: كل ما تنشره علنًا قد يدخل في بيانات التدريب.

الإنجليزية تهيمن على البيانات

معظم نصوص الإنترنت بالإنجليزية، وفي اللغات الأخرى أقل بكثير. لذلك تكون النماذج غالبًا أقوى بالإنجليزية، وفي اللغات الأخرى تلتقط فروقًا دقيقة أقل وتستهلك رموزًا أكثر للمعنى نفسه. لا داعي للقلق: بالعربية تعمل جيدًا أيضًا. لكن إن جاءت الإجابة عن سؤال صعب ضعيفة، جرّب طرحه بالإنجليزية وقارن.

لماذا توجد نماذج صغيرة

النموذج الكبير أذكى، لكن كل إجابة تحتاج منه حسابات أكثر. أي أنه أبطأ، وكل إجابة منه أغلى. النماذج الصغيرة سريعة ورخيصة، وأحيانًا تعمل مباشرة على هاتفك حتى دون إنترنت، مثل مترجم أثناء السفر. تذكّر المنحنى: في المهام البسيطة يكفي النموذج الصغير غالبًا. الخلاصة: الوضع السريع للأمور البسيطة، والكبير للمسائل الصعبة.

اختبر نفسك

1. ما هو معامِل النموذج؟
   الإجابة الصحيحة: رقم داخل النموذج يُعدَّل أثناء التدريب. المعاملات مليارات الأرقام التي يعدّلها النموذج أثناء التعلّم، وهي معًا تحفظ الأنماط التي تعلّمها.
2. النموذج كبير أصلًا، وزيدت مكوّناته الثلاثة مرة أخرى. ماذا نتوقع؟
   الإجابة الصحيحة: يتحسن عادةً، لكن المكسب أصغر. التوسّع يساعد عادةً، لكن المنحنى يتسطح: كل خطوة تالية تعطي أقل، والأخطاء لا تختفي.
3. لماذا تُصنع نماذج صغيرة إن كانت الكبيرة أذكى؟
   الإجابة الصحيحة: أسرع وأرخص ويمكن أن تعمل على الهاتف. كل إجابة من النموذج الكبير تحتاج حسابات أكثر. الصغير يجيب أسرع وأرخص، ويكفي غالبًا للمهام البسيطة.

← أين يفيد الذكاء الاصطناعي فعلًا الذكاء الاصطناعي يقيّم نفسه →