لماذا لا تُعدّ درجة ثقة نموذج اللغة قياسًا

إن سألت نموذج لغة كبيرًا "ما مدى ثقتك؟" فسيجيب برقم مثل ⁨0.85⁩، رقم يبدو دقيقًا. يطرح ⁨Amrut Joshi⁩ في مقاله المنشور في 20 أكتوبر 2026 فكرة بسيطة عن هذا الرقم: لا يوجد سبب وجيه للثقة به. وقد رأيت النمط الذي يصفه في تصميمات الوكلاء أيضًا، حين تقرر درجةٌ يكتبها النموذج هل يُرسل الرد أم يُحال إلى إنسان. إليك الحجة، وما البديل.

ما الذي يجب أن تعنيه درجة الثقة

يستعين ⁨Joshi⁩ بمثال المتنبئ الجوي. عبارة "احتمال المطر غدًا ⁨70%⁩" لا يمكن فحصها في يوم واحد، فإما أن تمطر أو لا. لا تُفحص إلا عبر أيام كثيرة: خذ كل الأيام التي قال فيها المتنبئ ⁨70%⁩، وانظر كم مرة أمطرت. إن أمطرت في نحو ⁨70%⁩ منها فالرقم يعني شيئًا. هذا ما يُسمّى المعايرة.

وهذا سجلّه المثالي لعام كامل كما يعرضه في مقاله:

في المقال تفصيلتان مهمتان. الأولى أن المعايرة وحدها لا تكفي: المتنبئ الذي يقول دائمًا ⁨30%⁩، وهي النسبة المعتادة في الموسم، معايَر هو الآخر لكنه لا يخبرك بشيء. الدرجة المفيدة معايَرة وتتحرك مع المعلومات المتاحة. والثانية أن شيئًا من هذا لا يصح ما لم يدوّن أحدٌ كل توقع وما حدث فعلًا. بلا سجل لا سبيل إلى المعرفة.

لماذا يسقط رقم النموذج في الاختبارين

يكتب نموذج اللغة النص رمزًا بعد رمز. حين يجيب "⁨0.85⁩" فهو لا يقرأ مؤشرًا داخليًا، بل يكتب تتمة معقولة للمحادثة. صحيح أن التدريب المسبق قيّم النموذج مقابل نتائج، لكن النتيجة كانت الرمز التالي، لا مدى تطابق ثقته المعلنة مع عدد مرات صوابه. وبتعبير ⁨Joshi⁩: تعلّم النموذج كيف تبدو درجات الثقة في النصوص.

فالرقم لا يعكس الأدلة، ولم يُفحص قط مقابل النتائج. ويمكنك رؤية الأعراض بنفسك، وهي التي يعدّدها:

• اطرح السؤال نفسه مرة أخرى فيتغير الرقم، ⁨0.85⁩ مرة و⁨0.7⁩ في التالية.
• اسأل "هل أنت متأكد؟" فتتحرك الدرجة غالبًا، مع أن شيئًا في المسألة لم يتغير.
• إن كتب النموذج قبلها "هذه بوضوح الإجابة الصحيحة" فالدرجة العالية مجرد الكلمات التالية الطبيعية.

الرقم الخاطئ يبدو تمامًا كالصحيح. والطريقة الوحيدة لمعرفة الفرق هي تصحيح كثير منها مقابل مفتاح إجابات، وهي الخطوة التي يتجاوزها أكثر الناس.

ابنِ الدرجة من سجلاتك أنت

بديل ⁨Joshi⁩ يُبقي النموذج على المهمة نفسها، ويأخذ الثقة من قاعدة مبنية على السجلات. مثاله وكيل دعم يبحث في مركز المساعدة ويصوغ الردود، والردود غير المؤكدة يجب أن تمر على إنسان أولًا:

1. اختر إشارات قابلة للملاحظة. هل وجد البحث مقالًا مطابقًا؟ هل واجه الوكيل هذا النوع من الأسئلة من قبل؟ هل يتفق تشغيلان للسؤال نفسه؟
2. ابدأ من النسبة الأساسية. إن راجع شخص ⁨200⁩ رد سابق وكان ⁨150⁩ منها صحيحًا، فكل رد يبدأ من ⁨75%⁩.
3. سجّل كل شيء. الإشارات، والدرجة التي أعطتها القاعدة، وهل تبيّن أن الرد صحيح.
4. حدّث القاعدة من السجل. إن كانت الردود ذات المقال المطابق والإجابتين المتفقتين صحيحة في ⁨95%⁩ من المرات، فالقاعدة تقول ⁨95%⁩ للرد التالي المشابه.
5. واصل الفحص. كل أسبوع تقريبًا أعد بناء جدول المتنبئ. إن كانت ردود ⁨90%⁩ صحيحة في ⁨70%⁩ فقط من المرات، فالقاعدة مفرطة الثقة، والسجل يدلك على الموضع.

الفحص الأسبوعي بضعة أسطر. هذا المثال توضيحي وليس من المصدر: يجمع الردود المسجلة حسب الدرجة التي أُعطيت لها، ويعيد نسبة الصواب في كل مجموعة.

// records: [{ said: 0.9, correct: true }, ...]
function calibrationTable(records) {
  const groups = new Map();
  for (const r of records) {
    const key = Math.round(r.said * 10) / 10;
    const g = groups.get(key) ?? { n: 0, right: 0 };
    g.n += 1;
    if (r.correct) g.right += 1;
    groups.set(key, g);
  }
  return [...groups]
    .sort((a, b) => a[0] - b[0])
    .map(([said, g]) => ({ said, n: g.n, rate: g.right / g.n }));
}

إن جاءت ⁨rate⁩ أدنى بوضوح من ⁨said⁩ في مجموعة فيها ردود كافية، فتلك المجموعة مفرطة الثقة.

الخطوة التالية: إن كان في نظامك ما يوجّه القرارات بدرجة يعلنها النموذج عن نفسه، فابدأ اليوم بتسجيل الدرجة والنتيجة الفعلية. شهر من السجلات يكفي لبناء الجدول الأول ومعرفة هل عنى الرقم شيئًا أصلًا. المصدر: مقال ⁨Amrut Joshi⁩ عن سؤال النموذج عن ثقته.