الذكاء الاصطناعي يقيّم نفسه
الدرس 22 من 23 في دورة «أساسيات الذكاء الاصطناعي». مجاني، مع رسوم متحركة واختبار.
الذكاء الاصطناعي يضع الدرجات
الحَكَم الآلي نموذج يقيّم إجابات نموذج آخر أو نصوصك أنت. مثال: كتبت نسختين من رسالة تعريفية، أي نص قصير عن نفسك لصاحب العمل، لوظيفة صيفية في مقهى. يمكنك أن تطلب من الحَكَم ثلاثة أشياء: درجة من 1 إلى 5، أو اختيار الأفضل بين نسختين (أ أو ب)، أو مقارنة النص بنموذج جاهز. الشركات تفحص آلاف الإجابات بهذه الطريقة، لأنها أسرع وأرخص من الاستعانة بالبشر.
ثلاث نقاط ضعف عند الحَكَم
الحَكَم ليس محايدًا، فلديه انحيازات. الأول: انحياز الترتيب، أي أنه يختار غالبًا الإجابة التي تأتي أولًا. الثاني: حب الطول، فالإجابة الطويلة تبدو له أفضل حتى لو كانت فيها أخطاء. الثالث: حب الذات، فالنموذج يعطي درجة أعلى للنصوص المكتوبة بأسلوبه هو. الصورة تلخص ذلك: الحَكَم يحب الإجابة الأولى والطويلة. لا توجد نية سيئة هنا، بل هو أثر جانبي لطريقة تعلّم النموذج.
بدّل مكان أ و ب
حيلة بسيطة ضد انحياز الترتيب: اسأل مرتين. ضع الرسالة أ أولًا، ثم ضع ب أولًا، والأفضل في محادثة جديدة. هل اختار الحَكَم الرسالة نفسها في المرتين؟ إذن يمكنك أن تثق بحكمه أكثر. هل تغيّر اختياره عندما تغيّر الترتيب؟ إذن هو لا يرى فرقًا حقيقيًا، فاعتبرها تعادلًا. وضد حب الطول، اكتب صراحة «الطول لا يهم» أو قارن نصوصًا متقاربة في الحجم.
الحَكَم = نموذج + أمر
الدرجة لا تعتمد على النص وحده، بل على مَن يحكم وكيف. غيّر النموذج أو كلمتين في الأمر (البرومبت)، فيصبح لديك حَكَم آخر. حتى الحَكَم نفسه قد يعطي النص نفسه درجة مختلفة، لأن إجابات الذكاء الاصطناعي فيها شيء من العشوائية. مثال: لا يمكن مقارنة «7 من 10» في محادثة بـ«9 من 10» في محادثة أخرى. لدرجات أثبت، أعطِ الحَكَم المهمة والمعايير، أي ما يحكم على أساسه، وسلّمًا من 1 إلى 5 يصف كل درجة.
تصنيف مبني على المواجهات
بالطريقة نفسها تُقارَن النماذج أيضًا. يرى الناس إجابتين عن سؤال واحد، وغالبًا دون أن يعرفوا أي نموذج كتب أيهما، ثم يختارون الأفضل. كل اختيار يشبه مباراة. ومن آلاف المباريات يُحسب تصنيف، كما في الشطرنج أو الألعاب الإلكترونية: الفوز على منافس قوي يمنح نقاطًا أكثر. لكن انتبه: التصويت يصلح للذوق والأسلوب. أما صحة المعلومة فلا تُحسم بالأصوات، بل بالتحقق.
القرار الأخير لك
كيف تستخدم الحَكَم لنفسك. اطلب منه مراجعة مقالك وفق معايير قليلة وواضحة، مثل: فكرة رئيسية واضحة، وأمثلة، وسلامة اللغة. ثلاث أو أربع نقاط دقيقة أفضل من خمس عشرة نقطة مبهمة. اطلب منه أن يشرح أولًا ثم يضع الدرجة. تقارن بين نسختين؟ جرّبهما بالترتيبين. الخلاصة: الحَكَم الآلي رأي ثانٍ، وليس معلمًا يحمل دفتر الدرجات. تحقّق من المعلومات بنفسك، والقرار لك.
اختبر نفسك
- اختار الحَكَم الرسالة أ. بدّلت الترتيب فاختار ب. ماذا يعني ذلك؟
الإجابة الصحيحة: الحَكَم لا يرى فرقًا حقيقيًا، فاعتبرها تعادلًا. إذا تغيّر الاختيار مع تغيّر الترتيب، فالحَكَم يتأثر بالموضع لا بالجودة. الأعدل أن تعتبرها تعادلًا. - لماذا لا يمكن مقارنة «7 من 10» من محادثة بـ«9 من 10» من محادثة أخرى؟
الإجابة الصحيحة: أمر مختلف أو نموذج مختلف يعني حَكَمًا آخر. الحَكَم هو نموذج مع أمر. إذا غيّرت أحدهما تغيّر المقياس، بل إن الحَكَم نفسه قد يتذبذب من مرة لأخرى. - لأي سؤال يصلح التصويت على «أي إجابة أفضل» بأقل قدر؟
الإجابة الصحيحة: في أي سنة وقع حدث تاريخي. الأصوات تقيس الذوق والأسلوب جيدًا. أما التاريخ فإما صحيح أو خاطئ، ويحسمه المصدر لا الأغلبية.
← لماذا النماذج ضخمة إلى هذا الحد اسأل ثلاث مرات واختر الأفضل →