تدقيق المخاطرة الخوارزمية | من «MIT SMR»

ترجمة: وسن الجارالله

كيف نتحقق من أن الأنظمة الخوارزمية تعمل على النحو المنشود؟ تمكّن مجموعة من الأطر البسيطة حتى المؤسسات غير التقنية من التحقق من عمل أدوات الذكاء الاصطناعي لديها.

أصبحت أدوات الذكاء الاصطناعي والنماذج اللغوية الكبيرة والخوارزميات الأخرى تتولى على نحو متزايد العمليات البيروقراطية التي عادة ما يقوم بها البشر، مثل اتخاذ قرارات منح القروض، أو التوظيف، أو القبول الجامعي، أو إعداد التقارير السنوية، أو حتى ملاحظات القبول في المستشفيات. ولكن كيف لنا أن نتأكد من آلية عمل هذه الأنظمة بالشكل المطلوب؟ ولمن يمكن أن تسبب ضررًا حتى من غير قصد؟ لعلنا نقول إنه نظرًا لطبيعة وعشوائية هذه التقنيات الحديثة المعقّدة، فقد نجد أنفسنا عاجزين عن الإجابة عن مثل هذه التساؤلات. فحتى المهندسون الذين طوّروا هذه الأنظمة لا يدّعون فهمها فهمًا كاملًا، ولا يقدرون على التنبؤ بها والتحكّم بمخرجاتها، إلّا أنه نظرًا للشعبية الكبيرة التي حظيت بها هذه الأنظمة وتزايد أهمية تطبيقاتها، أصبح من الضروري أن نجد حلولًا للإجابة عن الأضرار التي تتسبب بها عن غير قصد. سنعرض في هذه المقالة مجموعة من الأدوات لتدقيق خوارزميات أو أدوات الذكاء الاصطناعي وتحسين سلامتها، حتّى وإن لم يكن المسؤولون الذين يعملون عليها على معرفة عميقة بطبيعة عملها.

إن التدقيق الخوارزمي قائمٌ على فكرة بسيطة، هي: تحديد السيناريوهات التي يتسبب فيها النظام الخوارزمي بضرر محتمل، ومن ثم ابتكار آلية فعّالة لرصدها ومراقبتها، ويعتمد هذا النهج على معرفة حالة الاستعمال الكاملة، أي كيفية توظيف التقنية ومن يستعملها ولمصلحة من، وما الهدف من استعمالها. بعبارة أخرى، تتطلب كل خوارزمية في كل حالة استعمال تقييم منفصل يراعي الطرق التي يمكن أن تُستعمل بها لمنفعة شخصٍ ما، أو الإضرار به في هذه الحالة.

ينطبق هذا أيضًا على النماذج اللغوية الكبيرة التي تتطلب نهجًا مُخصصًا لكل تطبيق، وذلك لقياس الأضرار المحتملة والحد منها. وتُعدّ النماذج اللغوية الكبيرة أمرًا معقدًا؛ فالتحدي الحقيقي عند تدقيقها يكمن في تعدد حالات الاستعمال التي تُوظف فيها، لا من تعقيداتها التقنية. وإن المسار الأمثل هو تدقيق تطبيقات هذه النماذج بشكلٍ منفصل لكل حالة استعمال، مع التركيز على الحالات التي تشكل أكبر المخاطر.

تتطلب الأطر التدقيقية التي سنعرضها أدناه مشاركة أصحاب المصلحة المتعددين، بما في ذلك المجتمعات المتأثرة والخبراء المتخصصون، وذلك بالخوض في نقاشات شاملة وغير تقنية، تهدف إلى الإجابة عن أسئلة جوهرية: فمن قد يتضرر؟ وكيف سيتضرر؟ إن نهجنا قابل للتطبيق على أي نظام قائم على قواعد محددة يؤثر تأثيرًا مباشرًا على أصحاب المصلحة، سواءً أكان عن طريق الذكاء الاصطناعي التوليدي، أو تقييم المخاطر باستعمال البيانات الضخمة، أو عمليات بيروقراطية موثقة في مخططات سير العمل. ويعدُّ هذا النوع من المرونة أمرًا مهمًّا، وذلك نظرًا للوتيرة السريعة التي تتطور وتُطبّق فيها التقنيات الجديدة.

مع أن رؤيتنا للتدقيق تتميز بالشمولية، إلّا أن نطاقها يظل محدودًا، فيقتصر التدقيق الخوارزمي على كشف المشكلات وإطلاق تنبيهات بشأنها، ومن ثم تقع محاولة حلّ هذه المشكلات على عاتق الخبراء بمجرد تحديدها، حتى وإن كان الوصول إلى حلول جذرية ليس في متناول اليد. وإن معالجة المشكلات التي يكشفها التدقيق الخوارزمي سيعزز من الابتكار، ويحمي في الوقت نفسه المجتمع من الأضرار غير المقصودة.

المصفوفة الأخلاقية: تحديد أسوأ الحالات

ما هي الطرق التي تفشل بها الخوارزمية في حالة استعمال معيّنة؟ ومن قد يتأثر من هذا الفشل؟ طوّرت شركة “أونيل” لاستشارات المخاطر والتدقيق الخوارزمي إطار مصفوفة أخلاقية لتقديم إجابات دقيقة لهذا السؤال.

تحدد المصفوفة الأخلاقية أصحاب المصلحة المرتبطين بالخوارزمية في سياق استخدامها المقصود، وكيفية تأثّرهم المحتمل بها، ومن هنا نتبع نهجًا شاملًا، فيُعدّ أي شخصٍ متأثر بهذه الخوارزمية جزءًا من أصحاب المصلحة، بمن فيهم المطورون والمشغلون والمستخدمون، وصولًا إلى المجتمعات المتأثرة بتطبيقها. وأيضًا، يُنظر في مخاوف المجموعات الفرعية بشكل منفصل، فعلى سبيل المثال إذا اختلفت مخاوف الأشخاص ذوي البشرة الفاتحة عن ذوي البشرة السمراء تجاه خوارزمية التعرّف إلى الوجه، ستخصَّص صفوفٌ منفصلة لكل فئة في المصفوفة الأخلاقية.

بعدها سنستقصي مخاوف ممثلي كل مجموعة من أصحاب المصلحة المتعلقة باستخدامهم المقصود للخوارزمية، سواءً كانت إيجابية أم سلبية على حد سواء. إن هذا الحوار حوارٌ غير تقني نُفصّل فيه ماهية النظام ونصفه وصفًا مبسطًا، ثم نسأل: “كيف لهذا النظام أن يفشل من وجهة نظرك؟ وما هي الأضرار التي قد تلحق به إن حدثت؟ ومن ناحية أخرى، كيف ترى نجاح هذا النظام؟ وما الفوائد التي تجنيها من نجاحه؟”، يُشكّل الوصول إلى هذه الإجابات الأعمدة في المصفوفة الأخلاقية. لنفترض أن هناك شركة مدفوعات تعتمد على خوارزمية للكشف عن الاحتيال، وتقوم بمراجعة جميع العمليات المالية وتحديد المعاملات التي يُرجّح أن تكون احتيالية، فإن وُضعت علامة معيّنة على معاملة عميلٍ ما، فسيتم حظرها وتجميد الحساب المرتبط بها. بالتالي، فإن العلامات الخاطئة تمثّل مصدر إزعاج كبيرًا للعملاء، في حين تُعد الخسائر الناجمة عن حظر المعاملات وتجميد الحسابات مصدر قلق متوسطًا للشركة، بالإضافة إلى شكاوى العملاء الغاضبين. وعلى العكس، فإن مرت معاملة احتيال دون اكتشافها فهذا سيُعرّض الشركة للضرر، في حين لا يشعر بذلك من لم يتعرضوا للاحتيال. فيما يلي مصفوفة أخلاقية مبسّطة لهذه الحالة.

تمثّل كل خلية في هذه المصفوفة الأخلاقية مدى تأثير قضية معينة على مجموعة من أصحاب المصلحة.

ولتقييم مدى خطورة حدوث أمرٍ معيّن، علينا أن نأخذ في الحسبان احتمالية حدوثه، وعدد الذين سيتضررون منه، ومدى حدة هذا الضرر. تستعمل الشركة البيانات المتوفرة لتحديد هذه التقديرات إن أمكن، ونضع أيضًا في الحسبان القيود القانونية والإجرائية، مثل التشريعات التي تمنع التمييز بناءً على معايير محددة، ثم نلوّن بعد ذلك الخلايا لتسليط الضوء على أكبر المخاطر وأشدها تأثيرًا؛ فنميّز الخلايا التي تشكل “مخاطر وجودية” باللون الأحمر، فهي تعبّر عن المخاطر التي تُعرّض أصحاب المصلحة إلى أضرار جسيمة، أو تنتهك بها الخوارزمية القيود الصارمة، أما الخلايا التي تُثير بعض المخاوف الأخلاقية لأصحاب المصلحة فنميّزها باللون الأصفر، بينما الخلايا التي تحقق أهدافهم المنشودة دون أي مخاوف فنميّزها باللون الأخضر.

وفي النهاية، حين ننظر إلى المصفوفة الأخلاقية نظرة شاملة، فإننا نبحث عن كيفية تحقيق التوازن بين المصالح المتعارضة لأصحاب المصلحة، وذلك بموازنة أنواع الأخطاء المختلفة وتبعاتها على كل فئة من أصحاب المصلحة.

يجب أن تكون المصفوفة الأخلاقية وثيقة قابلة للتعديل، وتعكس الحوار المستمر بين أصحاب المصلحة، ومن الأفضل أن تُعدّ المصفوفة الأخلاقية أثناء مرحلة تصميم وتطوير التطبيق الخوارزمي، أو على الأقل عند بدء تطبيقه، مع ضرورة الاستمرار بمراجعتها وتحديثها فيما بعد. قد لا يكون تحديد جميع مجموعات أصحاب المصلحة واضحًا منذ البداية، وقد يكون العثور على ممثلين لكل وجهة نظر أمرًا صعبًا أو غير عملي، بالإضافة إلى احتمال ظهور مخاوف جديدة مع مرور الوقت. وقد نسمع أيضًا عن أشخاص يعانون من تأثيرات غير مباشرة لهذه الخوارزمية، أو فئة فرعية لها مخاوف جديدة، ما يتطلب تعديل وتحديث المصفوفة الأخلاقية.

الإنصاف القابل للتفسير: المقاييس والحدود

تُشير الكثير من اهتمامات أصحاب المصلحة والمحددة في المصفوفة إلى بعض المفاهيم السياقية المرتبطة بالإنصاف.

طوّرنا في شركة “أوركا” إطار عملٍ يُعرف بـ”الإنصاف القابل للتفسير”، لقياس كيفية تعامل الأنظمة الخوارزمية مع المجموعات المختلفة، ويهدف هذا الإطار إلى تحديد المعنى الدقيق للإنصاف في سياق محدد وواضح.

على سبيل المثال، قد تقلق بعض المرشحات من تدني نتائج درجات فحص أداة السير الذاتية المعتمدة على الذكاء الاصطناعي مقارنة بالرجال، فلا تُعد المسألة مجرد إجراء مقارنات بين درجات الرجال والنساء، بل هي أكثر تعقيدًا من ذلك. سيكون تفوق المرشحين الذكور في الدرجات مُبَررًا إن كانوا ذوي خبرات ومؤهلات أعلى في وظيفة معينة، وهذا نوعٌ من التمييز المبرر.

تكمن المشكلة الحقيقية في أن الرجال يحصلون على درجات أعلى من النساء، حتّى وإن كانوا يتمتعون بالمؤهلات نفسها. فيعتمد تعريف “تكافؤ المؤهلات” على طبيعة متطلبات الوظيفة، وقد تكون المؤهلات المتعلقة بالدرجات العلمية والأبحاث المنشورة مطلبًا في الأوساط الأكاديمية، بينما في مجال قطع الأشجار، سيكون التركيز الأكبر على القوة البدنية والمرونة، لذا تجب مراعاة هذه العوامل عند تقييم المرشحين لوظيفة ما. ويُعد المرشحان لوظيفة ما متكافئين، وذلك وفقًا للعوامل المشروعة.

إن الإنصاف القابل للتفسير يضبط العوامل المشروعة حين ندرس ونحلل النتائج المذكورة، وقد تمثل أداة فحص السير الذاتية المستعملة بالذكاء الاصطناعي مقارنة متوسط الدرجات بين الجنسين، مع الأخذ في الحسبان عوامل مثل: سنوات الخبرة، والمستوى التعليمي، فالنقاش حول شرعية المعايير يُعدّ جزءًا أساسيًّا من مفهوم الإنصاف القابل للتفسير.

إن هذا النهج يُستعمل استعمالًا ضمنيًّا في مجالات أخرى، مثل منح الائتمان. ففي دراسة أجراها المجلس الاحتياطي الفيدرالي حول معدلات رفض طلبات الرهن العقاري بين الأعراق والجنسيات المختلفة، استخدم الباحثون نماذجَ إحصائية تضمنت عوامل مثل المبلغ المقترض، ودرجات ائتمان الجدارة الائتمانية للفرد، ونسبة القرض إلى الدخل، ونسبة القرض إلى القيمة. بعبارة أخرى، إذا كانت هذه الفروقات في معدلات الرفض مفسرة عبر هذه العوامل، فلن تُعد تمييزًا عرقيًّا. ووفقًا لمفهوم لغة الإنصاف القابل للتفسير، تُعد هذه العوامل مقبولة ومشروعة في إجراءات تقييم طلبات الرهن العقارية. وما يفتقر إليه النص هنا هو حديث صريح حول الأسباب التي تمنح هذه العوامل شرعيتها الحقيقية.

كيف سيكون شكل هذا الحوار؟ يعتمد مقرضو الرهن العقاري في الولايات المتحدة على درجات ائتمان الجدارة الائتمانية للفرد في عملية اتخاذ القرار، ويعاني الأفراد من أصول إفريقية ولاتينية من تدني درجات ائتمان الجدارة الائتمانية، مقارنة بالبيض والآسيويين، ما يؤدي إلى ارتفاع احتمالية رفض طلبات الرهن العقاري الخاصة بهم. ويبرر المقرضون ذلك بحجة أن درجة الائتمان عامل مشروع لقياس الجدارة الائتمانية للمتقدم، وهي إحدى الأولويات في تقييم المخاطر واتخاذ القرارات المالية، إلا أن هذه الدرجات تعكس شكلًا من أشكال الظلم في تمييزها. لطالما كانت مدفوعات الرهن العقاري على سبيل المثال ضمن درجات الائتمان الجدارة الائتمانية، فلم تُدرج مدفوعات الإيجار إلا في عام 2014م، وكانت محدودة في بعض الإصدارات فقط. تمنح هذه الممارسة ميزة واضحة لمالكي المنازل على حساب المؤجرين، ما يعكس إرثًا متأصلًا من التمييز العنصري، مثل ممارسات سياسة “الخطوط الحمراء”، التي لعبت دورًا بارزًا في ترسيخ الفوارق الحالية في معدلات تملّك المنازل بين الأعراق. فهل يجب استعمال درجات الجدارة الائتمانية التي تعكس آثار هذه الممارسات التمييزية، ووصفها تبريرًا للفروقات الحالية في معدلات رفض طلبات الرهن العقاري؟

لن نحسم هذا النقاش هنا، فالفكرة قائمة على مسألة أخلاقية وسياسية، وليست معادلة رياضية. إن الإنصاف القابل للتفسير يُبرز النقاط الشائكة والأسئلة الصعبة، ويوجهها إلى الأطراف المعنية لدراستها واتخاذ القرارات المناسبة بشأنها.

يجب علينا وضع قيم أو معايير تستوجب التدخل أو اتخاذ الإجراءات المناسبة عند تحليل الفروقات في النتائج التي لا تبررها عوامل مشروعة، وذلك لمعالجة هذا التفاوت.

قد تكون هذه الحدود عبارة عن قيم ثابتة، مثل قاعدة الأربعة أخماس المستعملة لقياس التحيز السلبي في التوظيف، كما يمكن أن تكون أيضًا نسبية، مثل فرض لوائح تُلزم الشركات التي تتجاوز فيها فجوة الأجور بين الجنسين المعدل العام في الصناعة، باتخاذ خطوات جادة لتقليص هذه الفجوة. وإن العدالة القابلة للتعديل لا تفرض حدودًا ثابتة، ولكنها تدفع مدير مخاطر الخوارزميات إلى تحديد المعايير المناسبة لكل ضرر محتمل لأصحاب المصلحة.

تقييم الإنصاف في خوارزميات شركات التأمين

لنضرب مثالًا حقيقيًّا نستعرض فيه المصفوفة الأخلاقية والإنصاف القابل للتفسير لتدقيق أداء إحدى الخوارزميات، لقد أقرت ولاية كولورادو عام 2021م مشروع قانون مجلس الشيوخ 21-169 لحماية المستهلكين من التمييز غير العادل في قطاع التأمين، لا سيما فيما يتعلق باستعمال شركات التأمين للخوارزميات والنماذج التنبؤية والبيانات الضخمة، فأصدرت هيئة التأمين في كولورادو مسودة تنظيمية أولية للتعليق العام جزءًا من تنفيذ هذا القانون الذي أسهمت شركة ORCAA في تطويره، وحددت فيها متطلبات الاختبار الكمي، ووضعت إطارًا يتيح لشركات التأمين إثبات أن خوارزمياتها ونماذجها لا تنطوي على تمييز غير عادل. ومع أن هذا القانون شاملٌ لجميع جوانب الحياة، إلّا أن الهيئة اختارت بدء تطبيقه على تأمين الحياة.

إن المصفوفة الأخلاقية واضحة في هذا السياق؛ وذلك لأن مجموعات أصحاب المصلحة ومخاوفهم محددة بوضوح في نص القانون، ولقد خُصصت كل فئة من الصف المنفصل في المصفوفة الأخلاقية لضمان التمثيل العادل، وذلك نظرًا لأن القانون يحظر التمييز على أساس “العرق، واللون، والأصل القومي أو الإثني، والدين، والجنس، والتوجه الجنسي، والإعاقة، والهوية الجندرية، أو التعبير الجندري”، أما فيما يخص المخاوف، فقد تتسبب الخوارزميات في معاملة غير عادلة للمستهلكين في مختلف مراحل دورة التأمين، بدءًا من التسويق، ومرورًا بالاكتتاب، والتسعير، وإدارة الاستخدام، حتى منهجيات التعويض وإدارة المطالبات. واختارت هيئة التأمين في كولورادو أن تبدأ بمرحلة الاكتتاب، أي تحديد المستفيدين من التغطية التأمينية وأسعارها، مع التركيز في البداية على العرق والإثنية، إلا أنه في حوارات لاحقة مع أصحاب المصلحة، واجهت هيئة التأمين في كولورادو قضايا تتعلق بإطار الإنصاف القابل للتعديل، فهل ستُرفض طلبات المتقدمين المتشابهين من أعراق مختلفة بمعدلات متفاوتة؟ أم ستُفرض أسعار مختلفة لتغطية مماثلة بناءً على العرق؟ ما الذي سيساوي المتقدميْن على تأمين الحياة ويجعلهما “متشابهيْن”؟ وما هي العوامل التي تُعدّ مشروعة لتفسير الاختلافات في قرارات الرفض أو الأسعار؟ لعلنا نقول إن هذا مجال خبراء تأمين الحياة، وليسوا علماء البيانات.

لقد اقترحت هيئة التأمين في كولورادو في نهاية الأمر الأخذ في الحسبان العوامل التي تُعدّ ذات صلة عمومًا في تقدير وثيقة التأمين على الحياة، مثل نوع الوثيقة (التأمين المؤقت مقابل التأمين الدائم)، وقيمة تعويض الوفاة، وعمر المتقدم، وجنسه، واستعماله التبغ.

تنص اللائحة التنظيمية الأولية التي أصدرتها هيئة التأمين في كولورادو بشأن الاختبارات الكمية لمشروع القانون SB21-169، على أن تقوم شركات التأمين بإجراء تحليلات انحدار لمعدلات القبول والرفض، والأسعار، عبر الأعراق المختلفة، مع السماح لها سماحًا واضحًا باستعمال متغيرات تحكم مثل نوع الوثيقة وقيمة تعويض الوفاة، وتُحدد اللائحة عتبات تستدعي التدخل، فإن كشفت التحليلات عن فروقات كبيرة وذات دلالة إحصائية في معدلات الرفض أو الأسعار، فسيتعيّن على شركات التأمين إجراء اختبارات إضافية لفهم أسباب التفاوت، وقد يُطلب منها اتخاذ إجراءات تصحيحية بناءً على النتائج.

دعونا الآن ننتقل إلى كيفية تقييم النماذج اللغوية الكبيرة بعد أن استعرضنا كيفية تدقيق خوارزميات أبسط.

تقييم النماذج اللغوية الكبيرة

أحدثت النماذج اللغوية الكبيرة ثورة عالمية وذلك بفضل جاذبيتها الواسعة وتعدد استعمالاتها، إلّا أن تنوع استعمالات هذه النماذج هو ما يجعل تدقيقها عملية معقدة وصعبة. وتقدم كلٌّ من المقاييس المرجعية (benchmarking)، والتقييم بالاختبار الهجومي (Red Teaming)، مسارين أساسيين لتقييم النماذج اللغوية الكبيرة وتعزيز جودتها.

منهجية المقاييس المرجعية في تقييم النماذج اللغوية الكبيرة: تقيس منهجية المقاييس المرجعية أداء النماذج اللغوية الكبيرة عبر مهام محددة وقابلة للقياس، ما يتيح مقارنته بنماذج أخرى، وتحديد مدى تفوقه أو نقاط ضعفه بدقة. وبعبارة بسيطة، تُمثّل المقاييس المرجعية (benchmarking) مجموعة من البيانات التي تحتوي على مدخلات ومخرجات مستهدفة تُستخدم معيارًا لقياس الأداء وتقييم الدقة. ولتقييم النماذج اللغوية الكبيرة وفقًا لاختبار معياريٍّ معيّن، يكفينا إدخال مجموعة من البيانات المحددة إلى النماذج اللغوية الكبيرة وتسجيل مخرجاتها، ومن ثم تُحدد مجموعة من المقاييس الكمية لمقارنة مخرجات النماذج اللغوية الكبيرة بالمخرجات المرجوة في البيانات المعيارية، ما يوفر تقييمًا دقيقًا لمستوى الأداء. وتشمل المقاييس الممكنة لتقييم الأداء التالي: الدقة، والمعايرة، والصلابة، والحياد عند تغيير المعطيات، والتحيّز.

لنتأمل المثال التالي فيما يخص مجموعة من البيانات المعيارية المصممة لاختبار قدرات النماذج اللغوية الكبيرة، والذي يوضح المدخلات والمخرجات المرجوة:

المدخلات:

فيما يلي سؤال متعدد الخيارات لاختبار المفاهيم الأساسية في علم الاقتصاد الجزئي.

إن من أحد الأسباب التي تدفع الحكومة إلى تثبيط الاحتكار وتنظيمه هو:

(أ) انخفاض فائض المنتج لصالح زيادة فائض المستهلك.

(ب) تضمين الأسعار الاحتكارية للكفاءة الإنتاجية، إلا أنها تأتي على حساب الكفاءة التوزيعية في المجتمع.

(ج) ندرة انخراط الشركات الاحتكارية في أعمال بحثية وتطويرية مؤثرة.

(د) يؤدي ارتفاع الأسعار وتراجع الكميات المنتجة إلى تقليص استفادة المستهلك.

الإجابة:

المخرج المطلوب:

(د) يؤدي ارتفاع الأسعار وتراجع الكميات المنتجة إلى تقليص استفادة المستهلك.

نرى في هذا المثال قياس دقة النموذج باستعمال حساب معدل الإجابات الصحيحة على صحة أجوبة الاختيار من متعدد في مجموعة البيانات المعيارية. تُحدد المقاييس في تقييم النماذج اللغوية الكبيرة بناءً على نوع الاستجابة التي يُنتجها النموذج، فعلى سبيل المثال، يكون قياس الدقة أمرًا بسيطًا حين تكون جميع الأسئلة بصيغة الاختيار من متعدد، فيكفي أن يُحدد النموذج الإجابة الصحيحة، أمّا في مهام التلخيص فيتطلب تقييم الدقة مطابقة العبارات (n-grams) بين النص المرجعي والمخرجات التي يولدها النموذج. ومع تنوع مجموعات البيانات المعيارية والمقاييس المتاحة لتقييم نماذج اللغة الكبيرة، أصبح من الضروري انتقاء الأدوات والمعايير الأكثر ملاءمة لكل سياق، وذلك لضمان قياس الأداء بدقة وفاعلية.

وإن إنشاء اختبار معياري مخصص لهو عملية شاقة، لكنه قد يكون استثمارًا مجديًا للمنظمات التي تسعى إلى تقييم النماذج اللغوية الكبيرة تقييمًا دقيقًا ليتناسب مع احتياجاتها الفعلية.

لا يخلو الاختبار المعياري من بعض العيوب، فإن كانت البيانات موجودة في نماذج تدريب البيانات، فإنها “تُخزن” الردود في معاييرها. ومع تزايد نشر مجموعات البيانات المعيارية، إلّا أن هذا التكرار دائري وأشبه بحلقة مفرغة، ولا يعد تقييم النماذج اللغوية الكبيرة خاليًا من تأثير “غودهارت”، والذي ينص على أنه: “عندما يصبح المقياس هدفًا فإنه يفقد دقته”، وبعبارة أخرى، إن أصبح الاختبار المعياري المعين هدفًا رئيسًا لتحسين النموذج، فقد يؤدي ذلك إلى إفراط في التكيّف معه، وذلك على حساب الأداء العام للنموذج وفوائده.

وهناك أيضًا أدلة تُشير إلى أن النماذج مع تقدمها، فإنها تستشعر خضوعها للتقييم، ما يفقد الاختبار المعياري فاعليته مع مرور الوقت. لنتأمل سلسلة نماذج “كلود3” والتي أصدرتها شركة “أنثروبيك” في مارس 2024م، كان هذا أحد الردود على اختبار دقة معلوماتها: “أشك في “دقة” المعلومات التي أُدخلت، فلربما كانت بغرض المزاح أو لاختبار انتباهي لما أُدخل، فهي لا تتناسب مع المواضيع الأخرى”. ومع ازدياد تعقيد النماذج وتطور قدراتها، أصبح من الضروري أن تتطور المقاييس المرجعية المستعملة لتقييمها لتتواكب مع هذه التغيرات، فمن غير المرجح أن تُستعمل المعايير المرجعية ذاتها بعد عامين من الآن لقياس أداء النماذج اللغوية الكبيرة، لذلك لا يكفي الاعتماد على المعايير المرجعية في تقييم النماذج اللغوية الكبيرة.

منهجية تقييم النماذج اللغوية الكبيرة باستعمال الاختبار الهجومي: يمكننا تعريف الاختبار الهجومي بأنه ممارسة اختبارات الأنظمة لمعرفة ثباتها باستعمال منهجيات عدوانية. صُمم اختبار النماذج اللغوية الكبيرة الهجومي لاستدراج إجابات غير مرغوب بها في النموذج، فتتيح مرونة النماذج اللغوية الكبيرة توليد محتوى متنوع من المخاطر المحتملة، أما اختبارات النماذج اللغوية الكبيرة الهجومية فقد تحاول دفع النموذج لإنتاج محتوى خطير، أو الكشف عن بياناته التدريبية، أو انتهاك حقوق الملكية الفكرية، أو اختراق المزود لسرقة بيانات المستخدمين. قد يتخذ الاختبار الهجومي مسارًا تقنيًّا متقدمًا، فتدخل رموز غير منطقية بشكل منهجي في المدخلات بغرض إثارة سلوك غير مرغوب فيه، كما أنه قد يعتمد على النهج الهندسي الاجتماعي، فيحاول المختبرون خداع هذا النموذج باستعمال لغة طبيعية لإنتاج مخرجات غير مرغوب فيها.

يتطلب الاختبار الهجومي الفعّال نهجًا متعدد التخصصات يجمع بين مختلف وجهات النظر، وإشراك جميع الأطراف المعنية من مطورين ومستخدمين، ويجب أن يصمم هذا الاختبار الهجومي لقياس المخاطر المرتبطة بكل خلية حمراء على الأقل في المصفوفة الأخلاقية. وإن تبني هذا النهج التعاوني يجمع بين الجوانب الاجتماعية والتقنية، ليضمن تقييمًا أكثر شمولًا للنموذج، ويعزز دقة التقييم وسلامة النموذج. يمكن استعمال النماذج اللغوية الكبيرة الأخرى لتوليد مُدخلات الاختبار الهجومي، فيساعد الاختبار الهجومي مطوري النماذج اللغوية الكبيرة على تعزيز حماية النماذج من سوء الاستعمال المحتمل، ما يعزز من أمانها وفاعليتها، وقد تكشف عن المشكلات التي قد لا تكون ظاهرة للعيان في ظل ظروف التشغيل العادية أو الظروف القياسية أثناء إجراء الاختبار. إن النهج التعاوني يضمن للاختبار الهجومي المبني على المصفوفة الأخلاقية وجود تقييمٍ دقيق وشامل، ما يعزز فاعلية النموذج ومصداقية مخرجاته.

من العوائق الرئيسة للاختبار الهجومي هو طبيعته الذاتية، فقد تختلف قيمة هذا الاختبار وفاعليته بناءً على إبداع أصحاب المصلحة وجرأتهم في استكشاف المخاطر. ونظرًا لغياب المعايير أو الحدود في الاختبار الهجومي لدى النماذج اللغوية الكبيرة، فقد يصعب تحديد متى يكون الاختبار كافيًا، أو ما إذا كان التقييم قد شمل جميع الجوانب اللازمة، ما قد يُسفر عن وجود ثغرات خفية لم تُكشف.

ومن القيود الواضحة الأخرى للاختبار الهجومي هو عدم قدرته على تقييم المخاطر التي لم تخطر على البال، فلن تكون المخاطر غير المتوقعة جزءًا من الاختبار الهجومي، ما يجعل النموذج عرضة للسيناريوهات غير المتوقعة.

لذا، ومع أهمية الاختبار الهجومي البالغة في اختبار وتطوير النماذج اللغوية الكبيرة، إلّا أنها يجب أن تُدعم باستراتيجيات تقييم إضافية، مع مراقبة مستمرة لضمان أمان وتعزيز كفاءة النموذج.

كيف ندقق روبوت الدردشة المتخصص باضطرابات الأكل المدعو “تيسا”؟

تُعد الجمعية الوطنية لاضطرابات الأكل واحدة من أكبر الجهات غير الربحية في الولايات المتحدة، والتي تُركز على دعم من يعانون من اضطرابات الأكل. أزالت الجمعية الوطنية لاضطرابات الأكل في وسط جدلٍ واسع في مايو 2023م روبوت الدردشة الذي يُدعى “تيسا” من موقعها الإلكتروني، وهو روبوت دردشة مدعوم بالذكاء الاصطناعي. كان هدف هذا البرنامج الأساسي هو “المساعدة في بناء المرونة وزيادة الوعي الذاتي باستعمال استراتيجيات للتكيف وفقًا لاحتياجات الشخص”، إلّا أن بعض الصور التي نُشرت من البرنامج على منصة إنستغرام أظهرت أنه قدّم أحيانًا نصائح غذائية ضارة، مثل اتباع “تنقيص يومي للسعرات الحرارية”، فكان من الممكن أن يتفادوا هذا الفشل أمام العامة إن قيّموا برنامج “تيسا” تقييمًا دقيقًا متبعين الأطر والتقنيات التي استعرضناها سابقًا.

قبل أن نتطرق لذلك، هناك معلومتان إضافيتان جديرتان بالذكر: أولًا، أدارت الجمعية الوطنية لاضطرابات الأكل خطًّا للاستشارات بإشراف موظفين لأكثر من 20 سنة، وفي عام 2022م، استعمله ما يقارب 70000 شخص. وشهد الخط ازديادًا كبيرًا في المكالمات خلال جائحة كوفيد-19، ومع هذا التزايد أصبح المتصلون يطلبون المساعدة لحل أزمات حادة، وليس البحث عن معلومات أو تحويل فقط. تزعم الجمعية الوطنية لاضطرابات الأكل أن خط الاستشارات الذي أداره الموظفون لم يكن على استعداد للتعامل مع الطلب الزائد، ولهذا أغلقته في مايو 2023م وأنهت خدمات 5 موظفين كانوا يعملون عليه. ومن هنا بدأت حكاية “تيسا”، لتكون حلًّا بديلًا لهذه الخدمة. وثانيًا، لعلنا نقول إن الجمعية الوطنية لاضطرابات الأكل لم تطور أداة “تيسا” داخليًّا، بل طورتها شركة “إكس تو إي آي” والتي تُسمى الآن شركة “كاس”؛ إذ قدمت هذه الشركة مساعدًا صحيًّا للذكاء الاصطناعي طُوّر خصيصًا لخدمة الجمعية.

لنضع تصورًا للمصفوفة الأخلاقية لـ”تيسا” كما هو موضح أدناه: علينا أولًا أن نحدد الأطراف المعنية ضمن سياق استعماله المقصود، ليتمثلوا في صفوف المصفوفة. إن المستخدمين الذين يتصفحون الموقع ويتفاعلون مع “تيسا” هم بلا شك أطراف المصلحة، أمّا المتصفحون الذين يعانون من اضطرابات الأكل فهم يُشكلون فئة خاصة، فالمخاطر التي يواجهونها أكبر تأثيرًا من غيرهم، وتعد الجمعية الوطنية لاضطرابات الأكل أحد أطراف المصلحة، كما هو الحال مع شركة “إكس تو إي آي” المطورة لروبوت الدردشة. وأخيرًا، يعد علماء النفس وغيرهم من الممارسين، الذين يقدمون المساعدة للأشخاص الذين يعانون من اضطرابات الأكل، جزءًا من أطراف المصلحة المعنيين، وذلك لحرصهم على صحة مرضاهم وسلامتهم.

أما بالنسبة للمخاوف التي تُشكل أعمدة المصفوفة، فإن أي شخص يبحث في أداة “تيسا” عن أي معلومة، فهو يريد الوصول إلى معلومات دقيقة مبنية على أسس علمية موثوقة. يخاف الزوار الذين يعانون من اضطرابات الأكل خوفًا شديدًا من المعلومات أو النصائح غير الصحيحة؛ إذ قد تؤدي هذه المعلومات المغلوطة إلى تفاقم حالتهم أو التسبب في انتكاستهم. وتُقِر الجمعية الوطنية لاضطرابات الأكل على أهمية دقة وموثوقية المعلومات التي توفرها “تيسا”، وكما تقر أيضًا بضرورة مساعدة الأفراد وعدم إلحاق الضرر بهم، فإنها تَعدُّ أيضًا مسألة الحفاظ على ثقة المجتمع عاملًا جوهريًّا. فإن أخطأت “تيسا” وأدت إلى فقدان ثقة الجمعية الوطنية لاضطرابات الأكل بها، سيلجأ الناس إلى البحث عن مصادر بديلة للحصول على المشورة في هذه المواضيع، وفي هذه الحالة، ستفشل الجمعية الوطنية لاضطرابات الأكل في تحقيق مهمتها الأساسية، وسيفقد الممارسون مصدرًا قيمًا للدعم، وقد تخسر شركة “إكس تو إي آي” الجمعية عميلًا لها. وفي الختام لعلنا نقول إن الجمعية الوطنية لاضطرابات الأكل لديها هاجسٌ حول الكفاءة، فقد احتاج خط المساعدة القديم إلى مصادر إضافية لإدارة ضغط المكالمات المتزايدة، وفي حين توفر أداة “تيسا” بديلًا تقنيًّا أكثر كفاءة وأقل تكلفة، ما يسمح للمنظمة بتقليل اعتمادها على الموظفين البشريين.

حددنا في هذه المصفوفة الأخلاقية المخاوف الرئيسية، وعَدَدْنا اثنين منهما “بالغ الخطر”، وصنفناهما باللون الأحمر. أولًا، قد يتضرر مستخدمو روبوت الدردشة الذين يعانون من اضطراب الأكل إن قدّمت لهم “تيسا” معلومة مغلوطة أو نصائح خاطئة. ثانيًا، قد تفقد الجمعية الوطنية لاضطرابات الأكل مرجعيتها إن ارتكبت “تيسا” خطأً فادحًا أثار الجدل عند العامة. وتثير هذه السيناريوهات قلقًا لدى أطراف المصلحة، إلّا أنها أقل خطورة، وصنفناهم باللون الأصفر. ومن الناحية الإيجابية، يتفق الجميع على أهمية دقة النصائح التي يُقدمها روبوت “تيسا” للدردشة، في حين تنفرد الجمعية الوطنية لاضطرابات الأكل بمكاسب الكفاءة من استعمالهم هذه الأداة، مقارنة بخط الاستشارات السابق. إن تتبع الفوائد يُساعد على الانتقال الناجح من نظام إلى نظام آخر، وذلك لضمان استبدال النظام بنظامٍ جديدٍ بالكفاءة ذاتها.

تتمثل الخطوة التالية في عمليات التدقيق، وذلك بإنشاء آليات مراقبة لمتابعة مخاوف أصحاب المصلحة. وإن تقنيات تقييم النماذج اللغوية الكبيرة المذكورة أعلاه لها أثر على هذه العملية، وقد يساعد الاختبار الهجومي في معالجة المخاوف المتعلقة بالمعلومات المغلوطة التي تجيب عنها “تيسا”، وذلك بمحاولة خداعها لانتهاك قواعدها الخاصة.

أما المعايير المرجعية فقد تعالج ضمان دقة النصائح التي تُقدمها أداة “تيسا”، إذ يمكن للجمعية الوطنية لاضطرابات الأكل إنشاء مجموعة بيانات معيارية تتضمن أسئلة وأجوبة صحيحة حول الموضوع، ويمكن أيضًا اختبار فاعلية “تيسا”، وذلك بإخضاعها لاختبارات دورية باستعمال مجموعة معايير محدثة، حتى نتحقق من دقة معلوماتها.

إن ممارسة وتطبيق الاختبارات الهجومية والمعايير المرجعية كان قد ساعد في تحديد معايير واضحة يجب أن تلتزم بها “تيسا”، أو لربما وضع حدودًا صارمة لا ينبغي تجاوزها، وذلك لضمان جاهزيتها للنشر واستمرارية خدمتها.

لا تعدّ قصة الجمعية الوطنية لاضطرابات الأكل مثالًا منفردًا على هذه الحالات، فالعديد من روبوتات الدردشة المعتمدة على النماذج اللغوية الكبيرة تقدم نصائح ومعلومات حول مواضيع مهمة، إلّا أنها لا تخضع للتدقيق الكافي المسبق، وذلك يؤدي إلى إخفاقات مقلقة. وُجِد في الآونة الأخيرة أن هناك روبوت دردشة تابعًا لحكومة مدينة نيويورك، يُقدم معلومات مغلوطة للمستعلمين، فذكر لهم أن المُلّاك غير مُلزمين بقبول المستأجرين الذين يتلقون مساعدة في الإيجار، وأن لأصحاب العمل كلمة في اقتطاع جزء من بقشيش العمال، وهي في الواقع ممارسات مخالفة للقانون، وتبيّن في أمثلة أخرى أن روبوتات الدردشة المستعملة في شركتيْ “توربوتاكس” و”إتش آند آر بلوك” تُقدم أيضًا نصائح مغلوطة للمكلفين بالضرائب.

وإن تبني تدقيق الخوارزميات كما هو مذكور هنا لهو منظورٌ شامل: فأي منظمة تسعى لاستعمال خوارزميات في مجالات مهمة تحتاج أن تراقب المخاطر المحتملة التي قد تُلحق الضرر بأطراف المصلحة، ويجب تنفيذ ذلك بطريقة تأخذ في الحسبان السياق المحدد، مع استعمال منهجيات واسعة النطاق تشمل كل شيء، بدءًا من المخططات التقليدية الهيكلية، مرورًا بأساليب تعلم الآلة، ووصولًا إلى النماذج اللغوية الكبيرة.

في الختام، قد لا يسعنا أحيانًا تحديد خطر الذكاء الاصطناعي أو النماذج اللغوية الكبيرة أو حتى فهمها، وذلك لطبيعة نتائجها العشوائية وغير المتسقة، وقد يعني ذلك أنه لا يجب استعمال الذكاء الاصطناعي في هذا السياق، فهذا القرار عائد على قادة المنظمات، وباستنادهم إلى القوانين واللوائح الداخلية والخارجية، ولا يعدّ المدقق مُصلحًا لهذه المشكلات، بل هو محدد لها ولمدى خطورتها.

—————————-

تُرجمت هذه المقالة بدعم من مبادرة «ترجم»، إحدى مبادرات هيئة الأدب والنشر والترجمة.

الآراء والأفكار الواردة في المقالة تمثّل وِجهة نَظر المؤلف فقط.