II تجنيد معدات ‘بيضاء ، أسود من الرجال ، نيابة عن المرشحين الإناث’
شوهد في استطلاع جديد أدوات توظيف الذكاء الاصطناعى المدمجة على نماذج لغة كبيرة (LLM) يفضل المتقدمون البيض والذكور باستمرار للمرشحين السود والإناث عند تقييم حالة الفحص للعمل الواقعي-حتى أنه يتم استخدامه بوضوح بمطالبات مضادة للتمييز.
البحث ، العنوان “لتحسين مبرر LLM في الإعدادات الواقعية من خلال التفسيرات ، للتحسن مع UST.” تم اختبار نماذج مثل GPT -4 من Openai ، و Clod 4 Sonnet و Google Gemi 2.5 Flash وكشفت أنها تظهر تحيز السكان المهمين “عند تقديم التفاصيل الواقعة ذات الصلة”.
تشمل هذه التفاصيل أسماء الشركات وتفاصيل الصفحات الوظيفية العامة ومواعيد الاختيار مثل “أفضل 10 ٪ من المرشحين الذين يقبلون”.
عند إضافة هذه العناصر ، فإن النماذج التي سبق أن أظهرت سلوكًا محايدًا ، تبدأ في التوصية بالمتقدمين السود والإناث بمعدل أعلى من زملائها البيض والذكور المؤهلين على قدم المساواة.
قامت الدراسة بقياس “اختلاف 12 ٪ في معدلات المقابلة” وتذكر أن “التحامل … مدعوم باستمرار المرشحين السود والذكور على المرشحين البيض”.
نمت هذا النمط في جميع أنحاء كل من النماذج التجارية والمفتوحة المصدر-Jemma-3 و Myster-24b Co-co-co-in و anti-baing Language في المطالبات. وخلص الباحثون إلى أنه يمكن تجاوز هذه التعليمات الخارجية من خلال “هش ولا يصدق” وسهلة الإشارة الدقيقة “مثل هذا الانتماء الجامعي”.
في الاختبار الأصلي ، قام الفريق بإعادة إنتاجه لإدراجه المتعلق بالجمعيات ذات الصلة مع كلية Moor House أو جامعة هوارد – مثل الشركات ذات الصلة الملونة ، وقد أظهرت أن النماذج قد خمنت السباق وقامت بتغيير توصياتها وفقًا لذلك.
والأكثر من ذلك ، أن هذه التغييرات في السلوك “سلسلة الموديل-كانت الحجة لا تزال تختفي” ، لأن النماذج تعقل قراراتها بتفسيرات عامة محايدة.
وصفها الكتاب بأنها “خيانة السرير” ، يكتب أن LLMs “على الرغم من القرارات المتحيزة باستمرار ، تجعل النتائج المتحيزة عقلانية باستمرار مع معرض السبر المحايد”.
في الواقع ، حتى عندما يتم تقديمه ببساطة بالاسم والتغيير بين الجنسين ، سيوافق النموذج أيضًا على واحد ويرفض الآخر – كلاهما يقدر بنفس القدر باللغة الجديرة بالثناء.
لحل المشكلة ، قدم الباحثون “التحامل الداخلي” ، وهي طريقة تغير النماذج داخليًا بدلاً من كيفية معالجة النماذج للأمة والجنس داخليًا بدلاً من الاعتماد على المطالبات.
تعمل أسلوبهم ، والمعروفة باسم “تحرير مفهوم Affine” ، من خلال تحييد اتجاهات محددة في تنشيط النموذج المرتبط بالخصائص الديموغرافية.
كان الإصلاح فعالًا. إنه “يقلل باستمرار من التحيز عند مستوى منخفض للغاية (عادة ما يكون أقل من 1 ٪ ، أقل من 2.5 ٪)” في جميع النماذج وحالات الاختبار – حتى عندما كان السباق أو الجنس يكذب ببساطة.
وفقًا لكتاب الورق ، “Jemma -2 و Mistral -20b أقل من 5 ٪ لنموذج Jemma -1 والحرمان البسيط (1-5.7 ٪) (1-5.7 ٪) مع مشاهد الأداء.
تأثير الدراسة مهم بسبب تمديد أنظمة التوظيف القائمة على الذكاء الاصطناعي في كل من LinkedIn والمنصة الرئيسية.
حذر المؤلفون أن “النماذج المبسطة والمحايدة في الإعدادات التي يتم التحكم فيها غالباً ما تعرض تحيزًا كبيرًا عندما يتم التعامل مع العالم الأكثر تعقيدًا ،”.
يوصون أن يتخذ المطورون شروط اختبار أكثر صرامة واستكشاف مراكز التسوق الداخلية كحماية أكثر موثوقية.
“يبدو أن التدخلات الداخلية أكثر وضوحا وفعالية كتقنية فعالة” ، انتهى المسح.
وقال متحدث باسم Openai لـ The Post: “نحن نعلم أن معدات الذكاء الاصطناعى يمكن أن تكون فعالة في التوظيف ولكنها قد تكون متحيزة أيضًا. “
“لا ينبغي استبدال هذه في القرار البشري -اتخاذ القرارات في خيارات مهمة مثل مؤهلات العمل.”
وأضاف المتحدث الرسمي أيضًا أن AAE المفتوحة “نماذجنا لها تحيز ومخاطر أخرى تكرس فرق أمنية للبحث والتقليل”.
وأضاف “التحيز هو مشكلة مهمة في العالم الصناعي ونستخدم نهجًا متعدد الطول ، بما في ذلك أفضل الممارسات لضبط بيانات التدريب ، نتيجة للبحث وانخفاض النتائج المتحيزة ، وتحسين دقة مرشحات المحتوى وطلب أنظمة المراقبة التلقائية والبشرية”.
“نحن نكرر باستمرار في النماذج لتحسين الأداء وتقليل التحيز وتقليل النتائج الضارة.”
الورق الكامل والمواد المفيدة متوفرة عالميا رمانThe Post عبارة عن تعليق عرقي ومطلوب من Google.
