درجة Kappa والاتفاق بين الموسِمين (IAA) ببساطة
مؤشران أساسيان تسمعهما كثيرًا في كرامة — إليك ما يعنيانه فعليًا.
الاتفاق بين الموسِمين (IAA)
عندما يعمل أكثر من موسِم على نفس العناصر، نقيس مدى اتفاقهم على نفس التصنيف. اتفاق مرتفع = إرشادات واضحة ونتائج موثوقة.
درجة Kappa (Cohen's Kappa)
مقياس إحصائي يبيّن مدى الاتفاق بعد استبعاد احتمال التوافق الصدفوي. كلما اقتربت الدرجة من 1، زادت موثوقية البيانات.
| الدرجة | التفسير |
|---|---|
| أقل من 0.4 | اتفاق ضعيف |
| 0.4 – 0.6 | اتفاق متوسط |
| أعلى من 0.6 | اتفاق قوي (هدفنا في معظم المشاريع) |
في أحد مشاريعنا التجريبية على ترتيب التفضيلات، سجّلنا 0.623، وهو أعلى من المعدلات المنشورة من OpenAI وNVIDIA (0.27–0.39).