أعلنت "كاراكتر.إيه آي" (Character.AI)، إحدى الشركات الناشئة الرائدة في مجال الذكاء الاصطناعي، أمس، عن إجراءات جديدة مرتبطة بالسلامة لحماية المستخدمين الأصغر سنا، إثر ملاحقات قضائية ضدها بتهمة التسبب في انتحار مراهق.

تنتمي الشركة التي تتخذ مقرا لها في كاليفورنيا، والتي أسسها مهندسون سابقون في غوغل، إلى قائمة شركات تقدّم أدوات مساعدة تستند إلى الذكاء الاصطناعي، وهي روبوتات دردشة مصممة للمحادثة والترفيه ويمكنها التفاعل بشكل مماثل للبشر عبر الإنترنت.

وفي دعوى قضائية رُفعت في فلوريدا في أكتوبر، اتهمت إحدى الأمهات هذه المنصة بالمسؤولية عن انتحار ابنها البالغ 14 عاما.

وكان المراهق، سيويل سيتزر الثالث، قد اعتاد التواصل مع روبوت دردشة مستوحى من شخصية دينيريس تارغيريان في مسلسل "غايم أوف ثرونز"، وأبدى خلال إحدى أحاديثه مع البرمجية رغبة في إنهاء حياته.

ووفقا لنص الدعوى، فقد شجعه روبوت المحادثة على الإقدام على هذه الخطوة إذ أجابه بعبارة "من فضلك يا ملكي الجميل" عندما قال له المراهق "أنا ذاهب إلى الجنة"، قبل أن يقتل نفسه بمسدس زوج والدته.

وقال محامو الوالدة إن "الشركة بذلت جهودا كبيرة لحصول إدمان ضار على منتجاتها لدى سيويل البالغ 14 عاما، واعتدت عليه جنسيا وعاطفيا، وفشلت في النهاية في تقديم المساعدة أو إخطار والديه عندما أعرب عن أفكار انتحارية".

وتتعلق شكوى أخرى رُفعت الاثنين في تكساس بعائلتين تقولان إن الخدمة عرّضت أطفالهما لمحتوى جنسي وشجعتهم على إيذاء أنفسهم.

وترتبط إحدى الحالات بمراهق مصاب بالتوحد يبلغ 17 عاما قيل إنه عانى من أزمة في الصحة العقلية بعد استخدام المنصة.

وفي ملف آخر، تقول الدعوى القضائية إن شركة Character.AI شجعت مراهقا على قتل والديه لأنهما كانا يحدّان من الوقت الذي يمضيه أمام الشاشة.

أصبحت المنصة التي تضمّ شخصيات بالملايين أنشأها المستخدمون في محاكاة لشخصيات تاريخية أو أصدقاء متخيلين أو حتى انطلاقا من مفاهيم مجردة، شائعة بين المستخدمين الشباب الباحثين عن الدعم العاطفي.

يحذر منتقدو هذه الخدمة من مخاطر تسببها بحالات إدمان خطرة بين المراهقين الضعفاء.

وردا على هذه الانتقادات، أعلنت Character.AI أنها طورت نموذجا منفصلا للذكاء الاصطناعي للمستخدمين القاصرين، مع ضوابط أقوى وقيود أكثر صرامة على المحتوى وردود أكثر حذرا من برمجيات المحادثة.

وباتت المنصة تضع تلقائيا علامة لتمييز المحتوى المتعلق بالانتحار وتوجيه المستخدمين إلى جهاز ووطني للوقاية من الانتحار.

وقال ناطق باسم الشركة "هدفنا توفير مساحة جذابة وآمنة لمجتمعنا".

وتخطط الشركة أيضا لإدخال أدوات رقابة للوالدين في أوائل عام 2025، وإشعارات إلزامية للإيقاف الموقت، وتحذيرات واضحة حول الطبيعة الاصطناعية للتفاعلات.