قد تفقد النماذج التنبؤية هدفها، هكذا نبقيها على المسار الصحيح | من «MIT SMR»

ترجمة: أثير القحطاني

القصور الذاتي الخوارزمي قد يؤدي إلى اتجاه يضلل الشركات

تسعى المؤسسات جاهدةً لتبني خوارزميات تحليل بيانات متقدمة بهدف دعم اتخاذ قرارات آنية في بيئات عمل ديناميكية، إلا أن هذه المساعي غالبًا ما تفشل، وأحيانًا قد تؤدي إلى عواقب وخيمة.

أطلقت شركة العقارات Zillow نموذج “Zillow Offers” في عام 2018م، وهي مبادرة تهدف إلى شراء العقارات مباشرة من أصحابها. اعتمد هذا النموذج على خوارزمية تُعرف باسم Zestimate ، التي تتنبأ بالقيمة السوقية للعقارات السكنية. بناءً على هذه التقديرات، كانت “Zillow Offers” تشتري وتجدد وتعيد بيع العقارات بهدف تحقيق الربح، ورغم نجاحها الملحوظ خلال السنوات القليلة الأولى، فإنّ المنصة فشلت في التكيف مع الديناميكيات الجديدة في السوق الأكثر تقلبًا في عام 2021م، وقد تكبدت Zillow خسارة تصل إلى متوسط 25,000 دولار لكل عقار تم بيعه في الربع الأخير من العام، ما أدى إلى انخفاض قيمة الأصول بمقدار 881 مليون دولار.

يُعد هذا مثالًا على ما نطلق عليه القصور الذاتي الخوارزمي، حيث تعتمد المؤسسات على نماذج خوارزمية للتكيف مع التغييرات البيئية، ولكنها تفشل في مواكبة هذه التغييرات. في هذه المقالة، نسلط الضوء على مفهوم القصور الذاتي للخوارزميات، ونحدد أسبابه، كما نقدم توصيات حول الممارسات التي يمكن للمؤسسات اعتمادها للتغلب على هذه المشكلة.

كارثة التصنيف الائتماني

لفهم ظاهرة القصور الخوارزمي، أجرينا دراسة معمقة لمؤسسة أخرى فشلت في الاستجابة للتغيرات البيئية: موديز، وهي شركة أبحاث مالية تقدم تصنيفات ائتمانية للسندات والأدوات المالية المعقدة مثل الأوراق المالية المدعومة بالرهن العقاري السكني (RMBSs). قامت هذه الأوراق المالية بتجميع حزم من الرهون العقارية الفردية في شرائح متميزة ذات خصائص فريدة خلال الفترة التي سبقت الأزمة المالية العالمية لعام 2008م.

.قامت وكالة موديز بجهود متضافرة لاستيعاب التغييرات البيئية في تصنيفاتها الائتمانية عبر تطوير نموذج خوارزمي مخصص في عام 2000م، يُعرف باسم M3 Prime. اعتمد النموذج على تحليل البيانات المتعلقة بالعقارات؛ حاملي الرهون العقارية، والظروف الاقتصادية، لتقدير عاملين رئيسيين في حساب التصنيف الائتماني: تحمل الخسائر المتوقعة لمحفظة الرهون العقارية، والحماية المطلوبة لتغطية الخسائر لضمان الحفاظ على تصنيف AAA. حيث قدم المحللون توصياتهم إلى لجنة التصنيف الائتماني في موديز، التي تولت مسؤولية تحديد التصنيف الرسمي للأوراق المالية، وواصلت موديز متابعة هذه التصنيفات من كثب، وقامت بتعديلها بالترقية أو التخفيض استجابةً للتغيرات البيئية. وبفضل النجاح المبكر الذي حققه نموذج M3 Prime، وسعت موديز نطاق تحليلها الخوارزمي في عام 2006م من خلال إدخال نموذج مشتق يُعرف باسم M3 Subprime.

أصدرت وكالة موديز تصنيفات ائتمانية بين عامي 2000م و2008م لآلاف من الأوراق المالية المدعومة بالرهن العقاري، لكنها في نهاية المطاف خفضت تصنيف 83% منها التي كانت قد منحتها سابقًا تصنيف AAA، حيث بلغت قيمتها مليارات الدولارات بحلول عام 2008م. وقد وجهت الحكومة الأمريكية، بالإضافة إلى 21 ولاية ومقاطعة كولومبيا، اللوم إلى وكالة موديز على تضخيم تصنيفاتها لهذه المنتجات المالية وغيرها، ما أسهم في تسريع حدوث الأزمة المالية. وفي عام 2017م، وافقت الوكالة على دفع 864 مليون دولار لتسوية الادعاءات.

يعد هذا مثالًا واضحًا على القصور الخوارزمي وما يترتب عليه من عواقب اجتماعية مدمرة. حيث تقدم قرارات موديز سياقًا غنيًّا لاستكشاف هذا القصور، نظرًا لأن المنظمة كانت مسؤولة بشكل مباشر عن تحليل التغيرات البيئية كجزء من خدماتها الأساسية. بالإضافة إلى ذلك، توصلنا إلى معلومات تفصيلية حول نموذجها الخوارزمي من تقرير أعدته لجنة التحقيق في الأزمة المالية، والذي شمل مقابلات مكثفة مع المسؤولين في موديز الذين كانوا يعملون في تلك الفترة.

أتاحت لنا تحليلاتنا تحديد العوامل المُساهمة الأكثر أهمية في القصور الذاتي الخوارزمي، وهي: الافتراضات الخفية، وإعادة العرض السطحي، ومحاكاة المستقبل غير المعروف، والتقسيم المتخصص، كما هو موضح أدناه (انظر “أربعة مصادر للقصور الخوارزمي”).

الافتراضات الخفية: يسهم الفشل في إعادة تقييم الافتراضات الأساسية التي تدعم مدخلات النموذج الخوارزمي، في ظل التغيرات البيئية في القصور الخوارزمي. على سبيل المثال، شهدت فترة منح القروض العقارية زيادة في الإقراض وفق معايير ائتمانية أقل وتوثيق أقل بكثير مقارنةً بالماضي، ومع ذلك، لم يتم تعديل الافتراض الأساسي لنموذج M3 Prime في وكالة موديز، الذي يفترض أن التكنولوجيا التي يستخدمها منشئو القروض لتبسيط عملية تقديم الطلب تسهم أيضًا في تقييم أدق للمخاطر المحتملة، لتعكس التغيرات في بيئة الإقراض. وأوضح المدير الإداري لسياسة الائتمان في موديز أمام لجنة التحقيق الفيدرالية أنه كان عضوًا في لجنة ائتمان رفيعة المستوى كان من المتوقع أن تناقش قضايا مثل تراجع معايير منح القروض العقارية، ولكن هذا الموضوع لم يُطرح. إذ قال: “تحدثنا عن كل شيء… وتجنبنا الحديث عن الأمر الأوضح.”

فشل إعادة النظر في الافتراضات الأساسية لنموذج ما في ضوء التغيرات في البيئة يسهم بشكل كبير في القصور الخوارزمي.

افترض نموذج موديز أيضًا أن درجات FICO الائتمانية للمستهلكين تُعد العامل الرئيسي في التنبؤ بالتخلف عن سداد القروض، ومع ذلك، تدهورت جودة هذا المدخل البياني بشكل ملحوظ مع مرور الوقت؛ إذ أدت الزيادة في استخدام هذه الدرجات الائتمانية إلى إيجاد الأفراد طرقًا للتلاعب بها بشكل مصطنع، ونتيجة لذلك، احتوت قروض الرهن العقاري ذات التوثيق المنخفض أو التي لا تتطلب وثائق على أخطار كامنة لم يتم أخذها في الحسبان في نموذج موديز الخوارزمي.

إعادة العرض السطحي: تنجم هذه الظاهرة عندما تقوم المنظمات بإجراء تعديلات طفيفة فقط على النموذج الخوارزمي استجابةً للتغيرات الجوهرية في البيئة. فقد شهدت البيئة تغييرات رئيسية في وكالة موديز، تمثلت في زيادة عدد منشئي القروض، وتراجع مستمر في جودة الرهون العقارية، بالإضافة إلى انخفاض غير مسبوق في أسعار الفائدة.

استجابة موديز لهذه التغيرات تمثلت في السعي للاستحواذ على حصة أكبر من السوق سريعة النمو، فركزت على ضبط النموذج ليصبح “أكثر كفاءة، وأكثر ربحية، وأقل تكلفة، وأكثر تنوعًا”، وفقًا لما ذكره كبير مسؤولي الائتمان لديها، بدلًا من تحسين دقته. وعندما قامت بتعديل نموذج M3 Prime لإصدار نموذجها الخاص بالرهن العقاري الثانوي، استندت في استقراء منحنيات الخسارة لقروض الرهن العقاري الثانوي إلى البيانات المتعلقة بالقروض الممتازة، بدلًا من تطوير منحنيات خسارة جديدة خاصة بتلك القروض.

محاكاة المستقبل المجهول: الاعتماد على النماذج الخوارزمية لتوليد سيناريوهات محتملة للبيئة المستقبلية قد يعرض المؤسسات للقصور الخوارزمي، لذا قامت موديز بتطوير محرك محاكاة يضم 1,250 سيناريو للاقتصاد الكلي، ما أتاح لها تقدير الخسائر المستقبلية المحتملة استنادًا إلى التغيرات في المؤشرات الاقتصادية مثل التضخم، والبطالة، وأسعار المنازل. ومع ذلك، كانت قدرة المحرك محدودة بسبب بنيته الأساسية وافتراضاته، ما أدى إلى تجاهل المحللين للتغيرات الجارية، وعدم تحديث السيناريوهات أو تمثيل بيئة الاقتصاد الكلي المتطورة بدقة. وبدلًا من استخدام توزيعات الخسائر المتوقعة لفحص سلوك القروض في سيناريوهات الأزمات، اعتمدت موديز على تقديرات مبنية على المعايير التاريخية، معتقدةً أن الأداء السابق يمكن أن يكشف بدقة عن الروابط السببية بين الضغوط الاقتصادية وسلوك القروض.

التقسيم المتخصص: ينشأ عن الحالة التي يتشارك فيها خبراء من مجالات مختلفة في تصميم الخوارزمية وتطبيقها، ما يؤدي إلى عدم وجود ملكية فردية شاملة أو فهم مشترك للنموذج. لذلك، تم توزيع المسؤوليات المتعلقة بروتين التصنيف الائتماني في شركة موديز، بين خبراء المجال، وهم أعضاء لجنة التصنيف الائتماني، الذين استخدموا النموذج الكمي، وبين المحللين الكميين الذين طوروه.

ولأن ملكية النموذج واستخدامه قد تم توزيعهما، ولم تحدد وكالة موديز بدقة كيفية استخدامه، فقد وضع أعضاء لجنة التصنيف الائتماني قواعد مخصصة لتعديل نتائج النموذج عندما لا تتماشى مخرجاته مع ما قادهم حكمهم الخبير إلى الاعتقاد بأنه يجب أن ينتجه. حيث كان يُنظر إلى النماذج على أنها أدوات تُستخدم جنبًا إلى جنب مع أساليب أخرى، ما أدى إلى تفاوت كبير في كيفية اتخاذ لجان التصنيف المختلفة لقراراتها، وبالتالي، لم تُعد مخرجات النموذج نهائية.

حيث طُورت النماذج وعُدلت من قِبل أفراد غير متخصصين في المجالات التي ستُطبق فيها، ثم استخدمت مجموعات متباينة من خبراء المجال النماذج بطرق غير متسقة دون فهم منطقها الأساسي. حيث وصف المدير الإداري بدوره لتقييم الأوراق المالية المدعومة بالرهن العقاري بأنه نموذج معقد تقنيًّا إلى حد كبير، لدرجة أن قلة من الناس قادرون على فهم آلية عمله.

تكمن هذه المشكلة في القصور الخوارزمي ما يجعل معالجته صعبة، فالنماذج والخوارزميات معقدة للغاية لدرجة أن خبراء المجال بالكاد يستطيعون فهم تفاصيل أدائها، في حين أن علماء البيانات منفصلون عن كيفية استخدام نماذجهم في العالم الحقيقي.

تطوير الممارسات التي تكافح القصور الخوارزمي

لقد وصفنا كيف نشأت جميع أسباب القصور الذاتي الخوارزمي المرتبطة باستخدام موديز لنموذج خوارزمي، يهدف إلى دمج التغيرات الديناميكية في البيئة ضمن تصنيفاتها الائتمانية. وعلى الرغم من إدراك المنظمة للعيوب الموجودة في النموذج وسعيها لتعديله بشكل نشط، فإنها لم تتمكن من التكيف بفاعلية مع البيئة، ما أسهم بشكل ملحوظ في اندلاع الأزمة المالية لعام 2008م.

نقترح أن تنفذ المؤسسات الممارسات الأربع الموضحة أدناه. (انظر “الحفاظ على الخوارزميات ذات الصلة”) ، لتفادي تدهور مماثل للقيمة التنبؤية للخوارزميات الحرجة.

كشف البيانات والافتراضات: يتعين على المؤسسات توضيح وتوثيق البيانات المستخدمة في نماذجها الخوارزمية، بما في ذلك مصادر البيانات والافتراضات الأساسية الكامنة وراء قرارات اختيار البيانات الخاصة بها، والتي يمكن أن تكون لها آثار ضارة. غالبًا ما تتضمن النماذج عمليات تشغيل للعديد من المفاهيم، ومن السهل على المؤسسات أن تفقد تتبع هذه المعلومات، والتي يمكن دفنها في طبقات من التعليمات البرمجية. لذا ينبغي الحفاظ عليها مرئية بتوثيق المعلومات التي تمثل ضمانها في البيئة. وبالمثل، ينبغي صياغة الافتراضات الأساسية التي يقوم عليها النموذج وإعادة النظر فيها دوريًّا.

اعتمدت وكالة موديز على مجموعة بيانات تتعلق بالرهون العقارية الممتازة لتدريب نموذج يُفترض أن يُستخدم في تقييم الأوراق المالية المدعومة بالرهون العقارية المكونة من قروض عالية المخاطر. قد يبدو هذا القرار معقولًا في البداية نظرًا لتوافر البيانات، لكن عندما لا يتم تحديث مجموعة البيانات الأولية للنموذج، قد يؤدي ذلك إلى حدوث قصور ذاتي خوارزمي. كما يظهر من تجربة موديز، فإن البيانات ليست دائمًا دقيقة أو موضوعية وخالية من العيوب، لذا، فإن جعل مصادر البيانات والافتراضات المتعلقة بها شفافة لمستخدمي الخوارزميات، إلى جانب التفكير باستمرار في مدى ملاءمة تلك البيانات، هي ممارسات مهمة للمؤسسات التي تسعى إلى تجنب القصور الخوارزمي.

يتعين على المؤسسات تنظيم مصادر البيانات بوضوح والمحافظة على تقييمها بشكل دوري، إذ تتفاوت مصادر البيانات من حيث الجودة والخصائص. لذلك، فإن ضمان التمييز بين مصادر البيانات قبل دمجها في النماذج الخوارزمية ومعالجتها، ومقارنتها باستمرار مع بعضها، يمكّن علماء البيانات من اكتشاف وإزالة القصور الخوارزمي عاجلًا غير آجل.

تستند الخوارزمية في وضوحها ودقتها إلى ضرورة توثيق الافتراضات؛ لذا فإن أي عملية لنمذجة البيئة تتطلب قياسًا كميًا

 يحوّل الواقع إلى بيانات رقمية. يتضمن هذا القياس الكمي بالضرورة افتراضات حول كيفية عمل البيئة، وعلى الرغم من

 أهميته لعمل النماذج الخوارزمية، فإن تفاصيل كيفية تنفيذه قد تضيع في ظل تعقيد عملية تصميمها واستخدامها. لذا، فإن

 الاحتفاظ بسجل محدث لتلك الافتراضات يمكن أن يساعد في تجنب نشوء القصور الخوارزمي.

إعادة تصميم الروتينات الخوارزمية بشكل دوري: يتعين على المؤسسات إعادة تصميم نموذجها الخوارزمي بانتظام وأن تكون على استعداد للإصلاح وإعادة النظر في كيفية ملاءمته للروتين التنظيمي الأوسع. لذا، قد يتطلب التصميم الأولي للنموذج الخوارزمي جهدًا كبيرًا، ومن الطبيعي أن تسعى المؤسسة إلى تحقيق الفوائد المرجوة للعمل في ظل بيئة ديناميكية وسريعة التغير. فإن من الضروري أن تكون المؤسسة مستعدة ليس فقط لإجراء تعديلات تدريجية على النموذج، بل لإصلاحه بشكل جذري إذا دعت الحاجة.

بطبيعة الحال، تواجه المنظمات مقايضة بين خيارين عندما يتعلق الأمر بإصلاح الروتين الخوارزمي: فإعادة تصميم نموذج خوارزمي بالكامل قد تكون عملية مكلفة للغاية، ومع ذلك، فإن تجاهل الحاجة إلى هذا الإصلاح قد يؤدي إلى عواقب وخيمة.

على سبيل المثال، عندما واجهت وكالة موديز الحاجة إلى تقييم عدد متزايد من سندات الرهن العقاري الثانوية، اختارت تعديل نموذج M3 Prime تدريجيًّا. ومع ذلك، كان من الأفضل على الأرجح تمييز الفروق بين الأسواق الرئيسية والثانوية وإجراء مراجعة أعمق للنموذج الأصلي. إلى جانب إعادة النظر في النموذج الخوارزمي بحد ذاته كان بإمكان المنظمة تحسين طريقة تطبيقه عمليًّا. نظريًّا، كان يمكن لموديز أن تستخدم نموذجها بطرق مختلفة بناءً على نوعية سندات الرهن العقاري، ربما عبر إدخال مزيد من التدخل البشري عند تقييم الشرائح التي تتكون من قروض ذات جودة أقل.

يعتمد تصميم النموذج الخوارزمي وإعادة إصلاحه على فهم العمليات التنظيمية التي تترابط بدورها مع تحليل الآثار المترتبة على التغيرات في البيئة المحيطة به. وإذا اتضح أن النموذج أو العمليات التي يستند عليها أو يغذيها أصبحت قديمة أو غير فاعلة، فلا بد من التفكير بجدية في إجراء إصلاح شامل.

افتراض أن النموذج سيتعطل: يمكن أن يكون من الخطر بالنسبة للمنظمة التفكير في السيناريوهات المستقبلية المحتملة فقط من خلال منظور ما تتنبأ به النماذج الخوارزمية، لذا، يحد النموذج المضمن كل الافتراضات المحتملة بالمستقبل التي يمكن اعتبارها. ولأهمية افتراض أن النموذج سيتعطل، ولمعالجة القصور الخوارزمي المرتبط بمستقبل المحاكاة غير المعروف، يتطلب تحدي الافتراضات التنبؤية وكذلك افتراض أن النموذج معيب بشكل أساسي، اعتبارًا بأنه خارج عن نطاق النموذج.

تتمثل الممارسة الفاعلة التي تقع خارج نطاق النموذج في استكشاف السيناريوهات، والتي يمكن بدورها تعزيز الممارستين السابقتين، بالكشف عن البيانات والافتراضات، وإعادة تصميم الروتينات الخوارزمية بانتظام، وذلك من خلال دفع أعضاء الفريق إلى التفكير بشكل نشط في حدود النماذج الخوارزمية.

قد يكون من الخطر على المنظمة التفكير في السيناريوهات المستقبلية المحتملة فقط من خلال منظور ما تتنبأ به النماذج الخوارزمية.

استخدام التنبؤات النوعية للمستقبل بدلًا من التنبؤات الكمية التي تعتمد على البيانات المتاحة من الماضي قد يكون أحد النهج المفيدة. لذا، فإن هذه الأساليب تتيح من تخطيط السيناريو فرصًا للنظر في تصورات متنوعة ومختلفة كليًّا، لا سيما بما قد يحمله المستقبل، ويمكن أن يشمل ذلك تطوير خوارزميات هجينة لا تعتمد بشكل دقيق على البيانات السابقة للتنبؤ بها، بل تدمج أيضًا مقاييس نوعية وقواعد مستمدة من خبراء المجال.

بناء الجسور بين علماء البيانات وخبراء المجال: يجب على المؤسسات إنشاء عمليات لعلماء البيانات وخبراء المجال للعمل معًا بشكل وثيق لتصميم روتينهم الخوارزمي. فعلى الصعيد العملي، يتعامل علماء البيانات وأخصائيو الذكاء الاصطناعي مع المشكلات بطرق تختلف تمامًا عن تلك التي يعتمدها خبراء المجال، حيث يركز خبراء المجال على الروتين التنظيمي والمواقف الخاصة، بينما ينصب تركيز علماء البيانات على تطوير نماذج رياضية قابلة للتعميم بناءً على المبادئ الرياضية. وللتغلب على القصور الذاتي الخوارزمي، ينبغي أن يعمل الطرفان معًا بشكل وثيق لفهم كيفية مواءمة خصائص الروتين التنظيمي والمواقف الخاصة مع المعلومات الرياضية المستخدمة في النموذج الخوارزمي.

يحدث هناك خطر تبادل المسؤولية بين علماء البيانات وخبراء المجال بناءً على ثقة سطحية في عمل كل منهما عندما يكون

 الانفصال تامًّا بين مجاليهما، فمثل هذه الافتراضات قد تعرقل الحوار الحاسم بين المجالين. فعلى سبيل المثال، أدى

 هذا الفصل في وكالة موديز إلى تقويض نتائج نموذج تصنيف الائتمان، حيث لم يسعَ محللو التصنيف لفهم الأسباب التي تجعل

 نتائج النموذج لا تتماشى مع توقعاتهم. إن بناء جسور التواصل بين علماء البيانات وخبراء المجال يعزّز قدرة الخبراء على

 اكتساب فهمٍ حدسي لآلية عمل النماذج الخوارزمية، مما يتيح تطوير نماذج أكثر توافقًا مع التغيرات البيئية، ويعزّز قدرة

 المؤسسات على التكيّف.

تتمثل إحدى ممارسات بناء الجسور الهيكلية التي يمكن للمؤسسات استخدامها لتسهيل التواصل بين علماء البيانات وخبراء المجال في إنشاء منصب مثل مدير المنتج، إذ يجب أن يتولى هذا المنصب فرد يتمتع بخبرة مزدوجة في مجال وعلوم البيانات،

ويتحمل المسؤولية المباشرة عن الإشراف على العمليات الخوارزمية. على سبيل المثال، اقترح بعض خبراء البيانات إنشاء هيكل تنظيمي يتضمن دور “منظم الابتكار”، شخص يحظى بتقدير واحترام كل من علماء البيانات والخبراء الميدانيين. وبفضل معرفتهم وخبرتهم الواسعة في كلا المجالين، يمكن لهؤلاء الأفراد تعزيز مكانتهم داخل المنظمة من خلال بناء وصيانة “قنوات اتصال ثنائية الاتجاه ذات نطاق ترددي عالٍ”، ما يضمن تكيُّف العمليات الخوارزمية مع التغيرات البيئية بشكل مرن وفاعل.

هناك ممارسة أخرى فاعلة في بناء الجسور تُعرف بـ”قابلية تفسير النموذج”، وهي تتمثل في تقديم النماذج الخوارزمية بشكل عملي يسهل فهمه. وبالنسبة لعلماء البيانات، تسهم هذه القابلية في تسهيل الوصول إلى المعرفة المتخصصة الضرورية لمواجهة مصادر القصور الذاتي الخوارزمي، أما بالنسبة لخبراء المجال، فتساعدهم في تطوير فهم عميق وحدسي لكيفية استيعاب النموذج للتغيرات البيئية. هذا المفهوم يخلق أرضية مشتركة بين مجموعتين من المهنيين ذوي خلفيات معرفية مختلفة، ما يمكّن المؤسسات من بناء الجسور بين الفرق بدلًا من الاكتفاء بالحديث عنها.

وتواجه المؤسسات التي تسعى إلى جني فوائد التحليلات التنبؤية القوية بشكل متزايد مشكلة القصور الذاتي الخوارزمي، لذا، قد تجد المؤسسات أن النتائج لا تواكب التطورات الجديدة بالرغم من الاستفادة من الخوارزميات الديناميكية للتكيف مع التغيرات في البيئة، حيث يمكن للمؤسسات زيادة احتمالية أن تؤتي استثماراتها الكبيرة في الحلول الخوارزمية ثمارها من خلال اتخاذ قرارات أفضل حول الكشف عن البيانات والافتراضات، وإعادة تصميم الروتين الخوارزمي بشكل دوري، وافتراض أن نماذجها ستنهار، وبناء الجسور.

—————————-

تُرجمت هذه المقالة بدعم من مبادرة «ترجم»، إحدى مبادرات هيئة الأدب والنشر والترجمة.

الآراء والأفكار الواردة في المقالة تمثّل وِجهة نَظر المؤلف فقط.