كيف تعرف أن الذكاء الاصطناعي جيد
الدرس 9 من 23 في دورة «أساسيات الذكاء الاصطناعي». مجاني، مع رسوم متحركة واختبار.
اختبره على شيء جديد
يُختبر النموذج بصدق على أمثلة لم يرها أثناء التدريب. الأمر يشبه الامتحان، لا مسائل الكتاب التي حللتها من قبل. في الرسم: يحصل النموذج على 100% في أمثلة التدريب و70% في الأمثلة الجديدة. النسبة هنا هي حصة الإجابات الصحيحة، والأرقام للتوضيح فقط. صدّق الرقم الثاني: فهو يبيّن كيف سيتصرّف النموذج في الحياة الواقعية.
فرط التخصيص: حفظ ولم يفهم
فرط التخصيص يعني أن النموذج حفظ أمثلة التدريب جيدًا لدرجة أنه يضيع أمام الأمثلة الجديدة. مثل زميل حفظ إجابات كتاب التمارين عن ظهر قلب، ثم عجز في الامتحان عن حل المسألة نفسها بأرقام مختلفة. لذا فإن الفجوة الكبيرة بين نتيجة الكتاب ونتيجة الامتحان علامة تحذير. النموذج الجيد يلتقط الفكرة العامة بدل حفظ إجابات محدّدة.
الدقة قد تكذب
الدقة هي نسبة الإجابات الصحيحة. تبدو موثوقة، لكن فيها فخ. مثال: تعمل بدوام جزئي في متجر أحذية رياضية على الإنترنت، والذكاء الاصطناعي يفرز رسائل العملاء. من كل 100 رسالة، 95 أسئلة عادية و5 شكاوى. ذكاء اصطناعي يسمّي كل شيء «سؤالًا» يصيب في 95 من 100، أي دقته 95%. لكنه لم يكتشف أي شكوى. انظر كيف يتعامل مع الحالات النادرة لكن المهمة.
التصنيفات لا تتحدّث عنك
تتباهى الشركات بنتائجها في المقاييس المعيارية (benchmarks). المقياس المعياري مجموعة مشتركة من مهام الاختبار، في الرياضيات أو البرمجة مثلًا، تُستخدم لمقارنة النماذج. هذا مفيد، لكن مهمتك ليست هناك. نموذج متفوّق في رياضيات الأولمبياد قد يخلط بين المقاسات وقواعد الإرجاع في متجرك. معلومة مسبقة: المركز الأول في التصنيف لا يعني الأفضل لك.
امتحانك المصغّر
اجمع 5–10 أمثلة حقيقية من مهمتك، وهذا يكفي كبداية. مثلًا رسائل عملاء حقيقية: سؤال عادي، وشكوى، ورسالة بالعامية، وأخرى مليئة بالأخطاء الإملائية. اكتب لكل مثال الإجابة التي تراها صحيحة. ثم مرّرها على الذكاء الاصطناعي وقارن. هذا هو امتحانك: يكشف فورًا أين يخطئ النموذج، وهو أصدق من أي تصنيف.
قارن جنبًا إلى جنب
هل تريد أن تعرف أي برومبت أو أي نموذج أفضل؟ أعطِ الخيارين الأمثلة نفسها من امتحانك المصغّر وضع الإجابات جنبًا إلى جنب. قيّمها بقائمة بسيطة: هل هي صحيحة؟ هل هي في صلب الموضوع؟ هل النبرة مناسبة؟ غيّر شيئًا واحدًا في كل مرة، وإلا فلن تعرف ما الذي نجح. وتذكّر: الإجابات تختلف قليلًا في كل مرة، فجرّب كل مثال مرتين على الأقل.
اختبر نفسك
- نموذج يتفوّق في أمثلة التدريب لكنه يتعثّر في الجديدة. ماذا يُسمّى ذلك؟
الإجابة الصحيحة: فرط التخصيص. فرط التخصيص: حفظ النموذج أمثلة التدريب بدل الفكرة العامة، لذا يخطئ في الأمثلة الجديدة. - ذكاء اصطناعي دقته 95% لكنه لم يكتشف أيًّا من 5 شكاوى بين 100 رسالة. كيف؟
الإجابة الصحيحة: الشكاوى قليلة، وهو يسمّي كل شيء سؤالًا عاديًا. صنّف الرسائل العادية الـ95 بشكل صحيح، وهذا وحده 95 من 100. الدقة تُخفي الفشل في الحالات النادرة المهمة. - ما أفضل طريقة لاختيار ذكاء اصطناعي لمهمتك؟
الإجابة الصحيحة: اختباره على 5–10 من أمثلتك الحقيقية. التصنيفات تختبر مهام عامة لا مهمتك. امتحانك المصغّر يكشف فورًا أين يخطئ النموذج في عملك أنت.