كيف نقيس فعالية نماذج الذكاء الاصطناعي فعلاً؟ (ولماذا لا يكفي ترتيب واحد)

يُختصر الحكم على نماذج الذكاء الاصطناعي غالباً إلى رقم واحد على لوحة معايير. المشكلة أن هذا الرقم يجيب عن سؤال ضيّق («كيف أدّى النموذج على هذا الاختبار المحدّد؟») لا عن السؤال الذي يهمّك فعلاً («هل سيؤدّي مهمّتي أنا؟»). الفجوة بين السؤالين هي حيث تُصنع معظم القرارات الخاطئة.

لماذا لا يكفي ترتيب واحد

كل معيار يقيس شريحة ضيّقة من القدرة في ظرف محدّد. نموذج يتصدّر اختبار برمجة قد يتراجع في الاستدلال الطويل أو التعامل مع العربية أو الالتزام بالتعليمات. وحين يتحوّل معيار بعينه إلى هدف تتسابق عليه المختبرات، يفقد قدرته على التمييز — وهو جوهر «قانون غودهارت»: المقياس الذي يصبح هدفاً يكفّ عن كونه مقياساً جيداً.

تعالج مبادرات مثل HELM من جامعة ستانفورد هذا القصور بتقييم النماذج عبر سيناريوهات متعددة وبصيغة ثابتة ونتائج قابلة للفحص العلني، ما يرفع قابلية التكرار. وفي المقابل تقيس منصّات مثل Chatbot Arena تفضيلات بشرية حقيقية بدل اختبار ثابت، فتقلّل من مشكلة تسرّب بيانات الاختبار. لكن لكلٍّ حدوده: الفحص العلني يجعل الاختبار عرضةً للتسرّب، وتقييم التفضيل البشري يتأثّر بانحيازات كطول الإجابة أو أسلوبها وبمستوى خبرة المُقيّمين.

أين تخدعنا الأرقام: التلوّث والتقادم

أخطر مصدرَي تضليل: تلوّث بيانات الاختبار (contamination) حين يكون النموذج قد رأى أسئلة الاختبار أثناء التدريب، فيبدو أقوى مما هو عليه — وهي مشكلة موثّقة تدفع الباحثين نحو معايير «مقاوِمة للتلوّث» أو متجدّدة باستمرار. والثاني التقادم: معيار صُمّم قبل عامين قد تتجاوزه قدرات النماذج فيصبح سقفه منخفضاً لا يميّز بين متقدّمَين. أضِف إلى ذلك ادّعاءات المزوّدين لأرقامهم الخاصة، التي تحتاج دائماً إلى تحقّق مستقلّ.

كيف تقارن نموذجين لاحتياج حقيقي

بدل السؤال «أيّهما الأعلى ترتيباً؟» اسأل: ما مهمّتي بالضبط؟ ثم جهّز مجموعة اختبار صغيرة من أمثلتك الواقعية (لا من المعايير الشائعة)، وقِس ما يهمّك فعلاً: الدقّة على مهمّتك، والكلفة، والكمون، والتوفّر، والثبات عبر التكرار. نموذج «أضعف» على لوحة عامة قد يكون الأفضل لحالتك وأرخص وأسرع. المعيار العام نقطة انطلاق للفرز، لا حكم نهائي. وللتذكير بأن القدرة وحدها لا تحسم المفاضلة بين النماذج، راجع القدرة ليست المعيار الوحيد.