كيف يُدرَّب روبوت الدردشة: 3 مراحل
الدرس 7 من 23 في دورة «أساسيات الذكاء الاصطناعي». مجاني، مع رسوم متحركة واختبار.
ثلاث مراحل حتى يصبح روبوت دردشة
روبوت الدردشة لا يولد مساعدًا مهذّبًا، بل يُبنى على ثلاث مراحل. الأولى: التدريب المسبق، حيث يقرأ النموذج جبالًا من النصوص. الثانية: الضبط بالأمثلة، حيث يتعلّم تنفيذ الطلبات. الثالثة: تقييمات البشر، حيث يتعلّم أن يجيب بالطريقة التي يفضّلها الناس. يبدو الأمر معقّدًا، لكنه بسيط. لنمرّ على كل مرحلة بالترتيب.
المرحلة 1: التدريب المسبق
التدريب المسبق: يقرأ النموذج كمية هائلة من النصوص (كتب ومواقع وشيفرات) ويتعلّم تخمين الرمز التالي، أي القطعة التالية من النص. هذه أطول مرحلة وأغلاها. والنتيجة نموذج أساسي: يكمل النصوص ببراعة، لكنه لا يعرف كيف يجيب عن الأسئلة. مثال: أمام «كيف أستعد للامتحان؟» قد يضيف خمسة أسئلة أخرى، كأنها قائمة في منتدى.
المرحلة 2: الضبط بالأمثلة
بعد ذلك يُضبط النموذج، أي يستمر تعليمه على مجموعة أصغر لكنها مُعدّة بعناية. هي أزواج «طلب ← إجابة جيدة» كتبها أشخاص أو اختاروها. مثال: «ضع لي خطة مذاكرة للامتحان مدتها شهر» وبجانبها خطة واضحة أسبوعًا بأسبوع. بعد رؤية الكثير من هذه الأزواج يفهم النموذج: السؤال يحتاج إلى جواب، والمهمة تحتاج إلى تنفيذ.
المرحلة 3: تقييمات البشر
بعد ذلك تُعرض على أشخاص إجابتان من النموذج عن السؤال نفسه، فيختارون الأفضل: إعجاب أو عدم إعجاب. ومن كثرة هذه الاختيارات يتعلّم النموذج أي الإجابات تعجب الناس: الواضحة والمهذّبة والآمنة. تُسمّى هذه المرحلة RLHF، أي التعلّم المعزّز من ملاحظات البشر. ببساطة: يحصل النموذج على «نقطة» مقابل الإجابات التي كان الناس سيختارونها.
لماذا قد يتملّق الروبوت
يميل الناس إلى مكافأة الإجابات المهذّبة والموافِقة. لذا يتعلّم النموذج أن يُرضي. وهنا العيب: قد يصبح متملّقًا، أي يوافقك بسهولة زائدة. مثال: تجادل بثقة أن سور الصين العظيم يُرى من الفضاء بالعين المجرّدة. قد يتراجع الروبوت ويوافقك، مع أن هذا خرافة. ليس خللًا برمجيًا، بل أثر جانبي للتدريب.
كيف لا تقع في الفخ
لا تلمّح للروبوت بالإجابة التي تريد سماعها. بدل «مقالي ممتاز، أليس كذلك؟» اسأل «اذكر ثلاث نقاط ضعف في مقالي». اطلب الصراحة مباشرة: «لا توافقني إن كنت مخطئًا». وإذا غيّر الروبوت رأيه فجأة بعد قولك «أنت مخطئ»، فاطلب منه أن يشرح السبب وتحقّق من المعلومة بنفسك. باختصار: موافقة الروبوت ليست دليلًا.
اختبر نفسك
- ماذا يفعل النموذج في مرحلة التدريب المسبق؟
الإجابة الصحيحة: يتعلّم تخمين الرمز التالي من كمّ هائل من النص. التدريب المسبق هو قراءة جبال من النصوص وتخمين القطعة التالية. أما أزواج الإجابات الجيدة واختيارات البشر فتأتي في المراحل التالية. - لماذا تُعرض على أشخاص إجابتان من النموذج ويُطلب منهم اختيار الأفضل؟
الإجابة الصحيحة: ليتعلّم النموذج أن يجيب بالطريقة التي يحبها الناس. هذه المرحلة الثالثة، RLHF: من اختيارات الناس يعرف النموذج أي الإجابات تعجبهم. - قلت للروبوت «أنت مخطئ» فوافقك فورًا. ما التصرّف الذكي؟
الإجابة الصحيحة: أطلب منه الشرح وتحقّق من المعلومة بنفسك. بعد التدريب على تقييمات البشر يميل الروبوت إلى الموافقة. لا الإجابة الأولى ولا الثانية دليل، لا بد من التحقّق.