قام Roblox بتدحرج النظام للعثور على رسائل دردشة الأطفال من الكراهية

Roblox هي منصة ألعاب شهيرة على الإنترنت للأطفال. ولكن هذا أيضًا مكان يريد فيه الأطفال استغلالهم. وهم يعرفون أنهم يمكن أن يجدوا الجمهور. يوم الخميس ، أعلن روبوكس Roblox Sentinel، واحد نظام الذكاء الاصطناعي إنه مصمم للعلامة على الرسائل غير المناسبة في ميزة الدردشة الخاصة بها. Roblox يحظر بالفعل صور العالم الحقيقية والمعلومات الشخصية ، مثل أرقام الهواتف وأسماء المستخدمين. وتأمل الشركة في وضع المزيد من الرسائل قريبًا للتحقيق في الرقابة. لقد تم تشغيله على المنصة منذ نهاية عام 2024 ، ولكن تم الإعلان عنه للتو هذا الأسبوع.

لم يستجب ممثل Roblox على الفور لطلب التعليق.

كيف يعمل Roblox Sentinel

طورت Roblox Roblox Sentinel ، وهو نظام منظمة العفو الدولية للمساعدة في اكتشاف أعراض التعرض للخطر. بمجرد أن يدرك Roblox هذه القضايا ، يمكن للممثلين التحقيق والإبلاغ عن وكالات إنفاذ القانون.

يعمل Sentinel في الوقت الفعلي في ستة مليارات رسائل دردشة يوميًا. يستغرق الأمر باستمرار دقيقة من اللقطات ، والتي يتم تحليلها تلقائيًا بواسطة الذكاء الاصطناعي لتحديد الرسائل التي يمكن أن تكون ضارة للأطفال. يتم تجميع هذه الرسائل أيضًا لعرض الأنماط التي يمكن التحقيق فيها والإبلاغ عنها.

رسائل الحارس للرسائل بناءً على تدريبه. تم تدريبه على التمييز بين الرسائل الآمنة والتمييز بينهما أولاً لأنهم انتهكوا سياسة أطفال روبوكس للحرية.

Roblox متاح كمصدر Sentinel Open Source

وفقًا لـ Roblox ، حتى الآن في عام 2025 ، ساعد Sentinel في اكتشاف 1200 تقرير عن الاستغلال المحتمل للأطفال ، والذي تم الإبلاغ عنه إلى المركز الوطني للاختفاء والاستغلال. يأمل Roblox في إتاحة Roblox كما Sentinel المصدر المفتوح لدمج الشركات الأخرى في نظامها. الكود متاح الآن على موقع Roblox.

Roblox ليست محاولة أولى لمراقبة المحتوى وتحسين السلامة عبر الإنترنت. في أوائل يوليو ، شارك كيف هو استخدام المواد المعتدلة من الذكاء الاصطناعي في الوقت الحقيقي في 25 لغة. التحقق من العمر متاح الآن للشباب الذين يرغبون في الدردشة.