اسأل ثلاث مرات واختر الأفضل
الدرس 23 من 23 في دورة «أساسيات الذكاء الاصطناعي». مجاني، مع رسوم متحركة واختبار.
سؤال واحد وإجابات مختلفة
هل تتذكر درجة الحرارة؟ النموذج يسحب الكلمات حسب احتمالاتها، لذلك قد يعطي السؤال نفسه إجابات مختلفة. هذا يسمى عدم الثبات. وقد يكون الأمر أسوأ: صياغة مختلفة قليلًا، مثل ترتيب آخر للكلمات، فتتغير الإجابة كثيرًا. في الأفكار هذا ميزة. أما إذا احتجت إلى نتيجة واحدة دقيقة، مثل حل واجب الجبر لليوم التالي، فهذه مشكلة.
ابذل جهدًا أكبر في الإجابة
يمكنك الحصول على إجابة أفضل دون نموذج أكبر. أنفق حسابات أكثر لحظة الإجابة: اطلب عدة نسخ بدل نسخة واحدة. يسمى هذا الحوسبة وقت الإجابة (test-time compute). أبسط طريقة هي الأفضل من N: أي N محاولة ثم تختار أفضلها. قد يختار أنت، أو فحص بسيط، أو حَكَم آلي. العيب: 3 محاولات تكلّف نحو 3 أضعاف الوقت والمال.
التصويت: حيث تتفق الإجابات
للمهام التي لها إجابة دقيقة واحدة توجد حيلة أبسط: تصويت الأغلبية. في الصورة: مسألة واحدة، ثلاث محاولات، والإجابات 42 و42 و38 (أرقام للتوضيح). محاولتان من ثلاث متطابقتان، إذن نأخذ 42. المنطق: الأخطاء العشوائية تختلف عادة من مرة لأخرى، أما طريقة الحل الصحيحة فتصل غالبًا إلى الرقم نفسه. يصلح ذلك للرياضيات، واختبارات الاختيار من متعدد، واستخراج رقم من نص. أما المقال فلا شيء فيه للتصويت، وهناك تختار الأفضل.
وضع «التفكير» يفعل شيئًا مشابهًا
النماذج المفكّرة التي رأيناها في درس الخطوات تبذل هي أيضًا جهدًا أكبر قبل الإجابة. تكتب مسودة، وتجرب طرقًا مختلفة للحل، وتراجع نفسها، ثم تجيب. الفكرة نفسها: عمل أكثر لحظة الإجابة بدل نموذج أكبر. لذلك هي أبطأ وأغلى. شغّل هذا الوضع لمسألة صعبة أو خطة، لا لسؤال مثل «كيف أقول شكرًا باليابانية».
من أين تأتي الإجابات المختلَقة
لماذا يهلوس الذكاء الاصطناعي، أي يكتب أشياء غير صحيحة بثقة؟ النموذج يكمل النص بشكل معقول، ولا يميّز دائمًا بين ما يعرفه وما خمّنه. وكل ما كتبه من قبل يقرؤه كأنه حقيقة. مثال: في الجملة الأولى يخطئ النموذج في اسم مؤلف كتاب، ثم يخترع سيرة ذلك الشخص كي يبدو الكلام متماسكًا. يسمى هذا كرة الثلج: تخمين خاطئ واحد يجرّ تخمينات أخرى.
الاتفاق ليس دليلًا
وصفة للأرقام والمعلومات المهمة. اسأل مرتين أو ثلاثًا: أعد توليد الإجابة أو افتح محادثة جديدة، حيث لا يجرّ خطأ قديم في السجل خطأً جديدًا. الإجابات مختلفة؟ هذه إشارة تحذير: النموذج غير متأكد، فتحقق من مصدر موثوق. الإجابات متطابقة؟ احتمال الخطأ أقل لكنه ليس صفرًا: قد يكرر النموذج الخطأ الشائع نفسه ثلاث مرات. الخلاصة: الاتفاق تلميح، والدليل يأتي من المصدر.
اختبر نفسك
- أعطت ثلاث محاولات 42 و42 و38. ماذا يختار تصويت الأغلبية؟
الإجابة الصحيحة: 42، لأن محاولتين من ثلاث أعطتا هذه الإجابة. تصويت الأغلبية يأخذ الإجابة التي تتفق عليها أكثر المحاولات: 2 من 3 أعطتا 42. والمتوسط لا معنى له حين توجد إجابة صحيحة واحدة. - لماذا من الأفضل فتح محادثة جديدة لإعادة التحقق من معلومة؟
الإجابة الصحيحة: خطأ قديم في السجل لن يؤثر في الإجابة الجديدة. النموذج يقرأ كل ما في المحادثة كأنه حقيقة. المحادثة الجديدة لا تحتوي خطأه السابق، لذا يكون التحقق أنزه. - أعطى النموذج الإجابة نفسها عن سؤال مهم ثلاث مرات متتالية. ما الصحيح؟
الإجابة الصحيحة: الخطأ أقل احتمالًا، لكن ما زال عليك التحقق. الاتفاق يرفع احتمال صحة الإجابة، لكن النموذج قد يكرر خطأً شائعًا باستمرار. الدليل يأتي من المصدر.