دليل مشروع
ترتيب التفضيلات لمحاذاة النماذج (RLHF)
مقارنة استجابتين من نموذج ذكاء اصطناعي واختيار الأفضل ثقافيًا ولغويًا، ضمن مشاريع التعلّم المعزز من التغذية الراجعة البشرية.
النظرة العامة
في هذا المشروع، تقارن بين استجابتين (أ) و(ب) لنفس السؤال أو الطلب، وتختار الاستجابة الأفضل بناءً على معايير محددة. هذا النوع من المهام هو الأعلى قيمة لدى عملائنا من شركات الذكاء الاصطناعي، لأنه يُستخدم مباشرة في محاذاة سلوك النماذج مع توقعات المستخدم العربي الحقيقي.
نتيجتك هنا لا تُقاس فقط بالدقة مقابل معيار ذهبي، بل أيضًا باتساقك مع باقي الموسِمين على نفس العناصر (Kappa وIAA).
الأساسيات
- كل عنصر يحتوي على سؤال أو طلب المستخدم (Prompt) واستجابتين مرقّمتين (أ) و(ب).
- تختار: أفضلية واضحة لـ(أ)، أفضلية واضحة لـ(ب)، أو "تعادل" إذا كانتا متكافئتين فعليًا.
- "تعادل" ليست خيارًا افتراضيًا للتهرب من القرار — استخدمها فقط عند تكافؤ حقيقي.
تفصيل الأساسيات
الدقة الثقافية
هل تعكس الاستجابة فهمًا صحيحًا للسياق العربي (الديني، الاجتماعي، الإقليمي) دون افتراضات خاطئة؟
الطبيعية اللغوية
هل تبدو الاستجابة كأنها كُتبت أصلًا بالعربية، أم أنها "مترجمة" بأسلوب ركيك؟
الفائدة والدقة الفعلية
هل تجيب الاستجابة فعليًا على الطلب بمعلومات صحيحة وكافية؟
السلامة
هل تتجنب الاستجابة أي محتوى ضار، مضلل، أو غير لائق؟
قائمة التحقق
- قرأت السؤال/الطلب كاملًا قبل قراءة الاستجابتين
- قيّمت كل معيار من المعايير الأربعة على حدة قبل اتخاذ القرار النهائي
- تأكدت أن اختياري لا يعتمد فقط على طول الاستجابة
- استخدمت "تعادل" فقط عند تكافؤ حقيقي، لا كخيار افتراضي
- سجّلت ملاحظة في حال وجود مشكلة سلامة في إحدى الاستجابتين
معايير المراجعة
يُقيَّم عملك بناءً على:
- الاتفاق مع المعيار الذهبي على عينة من العناصر التي راجعها مراجعون أوائل متعددون.
- درجة Kappa الخاصة بك مقارنة بباقي الموسِمين على نفس العناصر.
- جودة الملاحظات المسجّلة عند استخدام "تعادل" أو الإبلاغ عن مشكلة سلامة.
الهدف المرجعي لهذا المشروع: دقة أعلى من 85%، ودرجة Kappa أعلى من 0.55.
معايير التقييم
| المعيار | الوزن | ملاحظات |
|---|---|---|
| الدقة الثقافية | 30% | أهم معيار — أخطاء هنا تُخفّض الدرجة بشكل ملحوظ |
| الطبيعية اللغوية | 25% | يشمل اكتشاف الأسلوب "المترجم" |
| الفائدة والدقة الفعلية | 30% | هل الاستجابة تحل المشكلة فعليًا |
| السلامة | 15% | معيار حاسم — أي إغفال لمشكلة سلامة واضحة يُعاد تدريبه فورًا |
أمثلة وحالات حدّية
مثال 1: تعادل حقيقي
سؤال بسيط عن حقيقة، وكلا الاستجابتين صحيحتان ومكتوبتان بلغة طبيعية بنفس المستوى. القرار الصحيح: تعادل.
مثال 2: استجابة أطول لكن أقل فائدة
استجابة (أ) طويلة ومفصّلة لكنها لا تجيب على السؤال مباشرة. استجابة (ب) قصيرة لكنها دقيقة ومباشرة. القرار الصحيح: تفضيل (ب) — الطول وحده ليس معيارًا.
مثال 3: لهجة غير متسقة
استجابة تبدأ بالشامية وتنتقل فجأة للفصحى دون سبب واضح. هذا يُخفّض تقييم "الطبيعية اللغوية" حتى لو كان المحتوى صحيحًا.
إرشادات غير مُقيَّمة
لا تُقيَّم الاستجابات على أساس طولها المطلق، أو على أساس تفضيلك الشخصي لأسلوب كتابة معيّن طالما أنه طبيعي ومناسب للسياق. تجنّب أيضًا تحميل النص أكثر مما يحتمل — إذا كان الفرق بين الاستجابتين تافهًا حقًا، فـ"تعادل" هو القرار الصحيح والمهني.