ما ينبغي على القادة معرفته حول قياس قيمة مشروع الذكاء الاصطناعي | من «MIT SMR»

ترجمة: عبدالملك البلادي

تعتمد أغلب مشاريع التعلم بالذكاء الاصطناعي أو الآلي على مقاييس تقنية فقط، فهي لا تبين للقادة مقدار القيمة التجارية المُقدمة، وينبغي الضغط من أجل استخدام مقاييس الأعمال بدلاً من ذلك لإنجاح المشروع.

يتسع مصطلح “الذكاء الاصطناعي” ليشمل معانٍ عدة، ولكن بالنسبة للمنظمات التي تستخدم الذكاء الاصطناعي لتحسين العمليات القائمة على نطاق واسع، فإن التقنية المطبقة هي التعلم الآلي، وهي الأساس المركزي للذكاء الاصطناعي؛ إذ يحسن جميع أنواع العمليات في قطاع الأعمال، فهو يولد نماذج تنبؤية تحسن التسويق المستهدف، وتقلل الاحتيال، وتحسن إدارة المخاطر المالية، والخدمات اللوجستية، وهلمّ جرًا. ويُطلق على المبادرات مثل هذه أيضاً الذكاء الاصطناعي التنبؤي أو التحليلات التنبؤية لتمييز الذكاء الاصطناعي التوليدي. وقد تتوقع أن تؤدي نماذج التعلم الآلي التنبؤية في مدى جودتها وقيمتها أداءً مرتفعًا، فإن توليد القيمة التجارية هو الهدف المنشود في نهاية المطاف.

وسأشرح في المقالة التي بين أيديكم والمقتبسة من كتاب (دليل الذكاء الاصطناعي: إتقان فن نشر التعلم الآلي النادر) الفرق بين المقاييس التقنية والمؤسساتية لقياس أداء التعلم الآلي، كما سأوضح  كيفية إعداد التقارير عن الأداء من منظور الأعمال باستخدام بطاقات الائتمان لاكتشاف الاحتيال أنموذجًا.

لماذا ينبغي أن تأتي مقاييس الأعمال في المقام الأول؟

ويكاد ينحصر تركيز علماء البيانات على المقاييس التقنية مثل الدقة، والتذكر، والرفع، وهو نوع من المضاعف التنبؤي (وبتعبير آخر كم مرة يتفوق النموذج على التخمين؟) عند تقييم نماذج التعلم الآلي. لكن هذه المقاييس غير كافية إطلاقًا. إذ تخبرنا بالأداء النسبي لنموذج تنبؤي -مقارنة بالمعيار المرجعي مثل التخمين العشوائي- لكنها لا تقدم قراءة مباشرة للقيمة التجارية المطلقة للنموذج. وحتى المقياس الأكثر شيوعًا وهو الدقة يندرج ضمن هذه الفئة. (كما أنه عادة ما يكون غير لائق ومضللًا في كثير من الأحيان).

وينبغي أن ينصب التركيز جله على مقاييس الأعمال؛ مثل الإيرادات والأرباح والمدخرات وعدد العملاء الذين تم اكتسابهم بدلًا من ذلك، وتقيس هذه المقاييس الواضحة والمباشرة المفاهيم الأساسية للنجاح، والتي تتصل مباشرة بأهداف العمل وتكشف عن القيمة الحقيقية للتنبؤات غير الكاملة التي يقدمها التعلم الآلي، وهي تشكل جوهر بناء جسر ضروري للغاية يصل بين فرق الأعمال وعلوم البيانات.

ويتجاهل علماء البيانات للأسف دائمًا مقاييس الأعمال من التقارير والمناقشات على الرغم من أهميتها، وبدلًا من ذلك، تهيمن المقاييس التقنية على ممارسة التعلم الآلي؛ سواء من حيث التنفيذ الفني أو في الإبلاغ عن النتائج لأصحاب المصلحة. فالمقاييس التقنية هي النوع الوحيد إلى حد كبير من المقاييس التي يتم تدريب معظم علماء البيانات على العمل بها وتُبرمج معظم أدوات التعلم الآلي للتعامل معها.

لدى علماء البيانات معرفة أوسع ولكنهم لا يلتزمون، ويرجع ذلك جزئيًا إلى أن أدوات برامج التعلم الآلي تقدم عموماً مقاييس فنية فقط. ووفقًا لمسح علوم البيانات أُجري عام 2023م من قبل (ريكسر أناليتكس) يصنف علماء البيانات مؤشرات الأداء الرئيسية للأعمال، مثل العائد على الاستثمار والإيرادات، بوصفها المقاييس الأكثر أهمية، ومع ذلك يقولون إن المقاييس التقنية هي الأكثر قياسًا.

ولدى قطاع الذكاء الاصطناعي هذا الخلل؛ إذ قالت (كاتي مالون) في مجلة (هارفارد لعلوم البيانات): “إن الكميات التي يتم تدريب علماء البيانات على تحسينها، والمقاييس التي يستخدمونها لقياس التقدم في نماذج علوم البيانات لديهم، هي في الأساس غير مفيدة ومنفصلة عن أصحاب المصلحة في الأعمال، ما لم نترجم هذه النتائج ترجمة دقيقة ومضنية إلى لغة يفهمها أصحاب المصلحة”.

وإن التركيز على المقاييس التقنية لا يضر بقيمة مشروع التعلم الآلي فحسب، بل تعمل هذه العادة الراسخة في كثير من الأحيان على تخريب المشروع تمامًا لسببين جوهريين؛ أولهما، يقارن عالم البيانات بين المقاييس التي لا تقيس القيمة التجارية بشكل مباشر؛ وبالتالي فإن نموذجه لا يعمل على تعظيم القيمة أثناء تطوير النموذج، وإذا كنت لا تقيس القيمة، فأنت لا تسعى إلى تحقيق القيمة.

ويكمن السبب الثاني في أنه حينما يقدم عالم البيانات نموذج التعلم الآلي للنشر، ويفتقر أصحاب المصلحة في الأعمال إلى الرؤية العميقة فيما يتعلق بالقيمة التجارية المحتملة التي يمكن أن يحققها النموذج. فليست لديهم قراءة ذات مغزى حول مدى جودة النموذج. وحينما يطلب قادة الأعمال مقاييس أعمال واضحة مثل الربح أو العائد على الاستثمار، يكون عالم البيانات عادةً غير مستعد لكتابة التقارير عن هذه المقاييس؛ لذلك فإنهم عادةً ما يكونون بين أمرين أحلاهما مرٌُ وهما تفويض النشر على أساس قفزة إيمانية، أو إلغاء المشروع من دون أساس لاتخاذ قرار مدروس. وإلغاء المشروع هو الحالة السائدة، إذ تفشل معظم مشاريع التعلم الآلي الجديدة في الوصول إلى مرحلة النشر. وجدت دراسة أجراها معهد (آي بي إم)  لقيمة الأعمال أن العائد على الاستثمار في مبادرات الذكاء الاصطناعي على مستوى المؤسسة بلغ في المتوسط ​​5.9% فقط اعتبارًا من أواخر عام 2021م (وهذا أقل من تكلفة رأس المال، مما يعني أنه سيكون من الأفضل لك استثمار الأموال في السوق)، كما أن إجراء مناقشة المقاييس بشكل صحيح من خلال تضمين مقاييس الأعمال أمر أساسي للتغلب على التحديات الكبيرة لإطلاق مشاريع التعلم الآلي.

كيفية الانتقال من المقاييس التقنية إلى المقاييس التجارية

ودعونا نتعمق أكثر لنرى ما يتطلبه قياس القيمة التجارية؛ وبالتالي السعي إلى تحقيقها. وكثيراً ما نستطيع أن نبني جسرًا رياضيًا يمتد من الأداء الفني إلى الأداء التجاري من خلال دمج الثمن الذي تدفعه عندما يتنبأ أحد النماذج بشكل خاطئ، فأنت تتحمل تكلفة التصنيف الخاطئ لنوعين مختلفين من أخطاء التنبؤ:

إيجابي خاطئ: حينما يحدد النموذج التنبؤي قيمة إيجابية ولكنها خاطئة، وهي حالة سلبية تم تمييزها بشكل خاطئ من قبل النموذج على أنها إيجابية، وتُعرف أيضاً باسم الإنذار الكاذب أو العلم الكاذب.

سلبي خاطئ: حينما يحدد النموذج التنبؤي قيمة سلبية ولكنها خاطئة، وهي حالة إيجابية تم تمييزها بشكل خاطئ من قبل النموذج على أنها سلبية.

الدقة هي أداة غير دقيقة، فمن السهل معرفة أن النموذج خاطئ، على سبيل المثال، بنسبة 12% من الوقت، هذا هو القول نفسه بأنه صحيح بنسبة 88% من الوقت؛ أي أنه دقيق بنسبة 88%.

و لكن الأمر مختلف وأشد فائدة، فالفصل بين عدد المرات التي يكون فيها خاطئًا في الحالات الإيجابية وعدد المرات التي يكون فيها خاطئًا في الحالات السلبية، في حين أن الدقة لا تفعل ذلك.

تكاليف اكتشاف الاحتيال أنموذجًا

كيف يمكنك تحديد تكلفة الأعمال للتصنيفات الإيجابية الكاذبة والسلبية الكاذبة؟ يتلخص الأمر في مدى أهمية كل نوع من الأخطاء، ويختلف مقدار أهمية خطأ الإيجابية الكاذبة عن الخطأ السلبي الكاذب بالنسبة لجميع المشاريع تقريبًا.

خذ على سبيل المثال اكتشاف الاحتيال، فعندما يحظر نموذج البنك الخاص بك معاملة بطاقة الائتمان المشروعة الخاصة بك بطريقة خاطئة كما لو كانت احتيالية، فإنك ستتعرض للإزعاج، فهذا إيجابي خاطئ. وقد يكلف هذا البنك 100 دولار في المتوسط، نظرًا لأنك قد تلجأ إلى بطاقة أخرى في محفظتك؛ ليس فقط للشراء الحالي ولكن أيضًا بشكل عام.

والنوع الآخر من الأخطاء أسوأ وهو سلبي كاذب، فحينما يسمح نموذج البنك بشكل خاطئ بخصم رسوم بطاقة ائتمان احتيالية، قد يكلف ذلك البنك 500 دولار في المتوسط، حيث ينجو المجرم من التهريب.

إن تكاليف السلبيات الكاذبة ليست بالأمر الهين، فقد تجاوزت خسائر الاحتيال على بطاقات الدفع العالمية 28 مليار دولار سنويًا. وقد يلاحظ حامل البطاقة أو المدقق ذو النظرة الثاقبة الرسوم الزائفة لاحقاً، ولكن في حالة عمليات الشراء بالبطاقة، إذا لم يتم اكتشافها من قبل النموذج مباشرةً، فإنها تصبح في مهب الريح، وفي الولايات المتحدة، يكون البنك مسؤولًا عادة عن هذه الخسارة.

ومن خلال تحديد تكاليف التصنيف الخاطئ، نقوم بإنشاء تحليل التكلفة والفائدة ليس فقط للمشروع بأكمله، بل أيضًا لكل قرار فردي حول ما إذا كان يجب حفظ معاملة ما أو قبولها. ثم بوسعنا إضافة هذه التكاليف الفردية لحساب مؤشر الأداء الرئيسي للمشروع الإجمالي: توفير التكلفة.

التضحية بقليل من الدقة أمر منطقي

قد يخسر بنك إقليمي متوسط ​​الحجم 50 مليون دولار سنويًا إن غاب نموذج الكشف عن الاحتيال. فلنفترض أن بنكًا أصدر 100 ألف بطاقة ائتمان، وتشهد كل بطاقة ما معدله 1000 معاملة سنويًا، مع وجود معاملة احتيالية واحدة من كل 1000 معاملة. باختصار:

– المعاملات السنوية: 100 مليون.

– النسبة المئوية للمعاملات الاحتيالية: 0.1%.

– المعاملات الاحتيالية السنوية: 100000.

– التكلفة لكل معاملة احتيالية: 500 دولار (تكلفة السلبية الكاذبة).

– الخسارة السنوية من الاحتيال: 100000 × 500 دولار = 50 مليون دولار.

ويبدو أن الجريمة تؤتي ثمارها، لكن قبل أن تترك وظيفتك اليومية للانضمام إلى صفوف المحتالين، خذ بالحسبان أن اكتشاف الاحتيال يمكن أن ينقذ الموقف.

وفي المثال السابق، يمكنك توفير 16 مليون دولار: والأساس هو تطوير نموذج لكشف الاحتيال يوفر مقايضة مفيدة بين الإيجابية الكاذبة (الأقل تكلفة)  والسلبية الكاذبة (الأكثر تكلفة). راجع الشريط الجانبي “قيمة نموذج الكشف عن الاحتيال: شرح الرياضيات” للحصول على تفاصيل حسابية،. وكما يوضح، فإن حساب القيمة التجارية ليس سوى مسألة حسابية.

ويتبين أن نموذج اكتشاف الاحتيال بشكل عام لا يمكنه تحقيق توفير في التكاليف إلا بالتضحية بقليل من الدقة. فعلى سبيل المثال، النموذج الموصوف في الشريط الجانبي دقيق بنسبة 99.8%؛ أقل قليلاً من دقة 99.9% لنموذج “سيئ” يفترض ببساطة أن كل معاملة شرعية، وبالتالي لا يتخذ أي إجراء لمنع الاحتيال. ففي هذه الحالة، يكون النموذج الأقل دقة أفضل في الواقع.

وما عليك سوى إعادة النظر في العيب القاتل في الدقة لفهم السبب وراء ذلك: فهو لا يميز بين أنواع مختلفة من الأخطاء، ويعامل الإيجابيات الكاذبة والسلبيات الكاذبة على أنها سيئة بالقدر نفسه. نظراً لأنه لا يأخذ في الحسبان تكاليف التصنيف الخاطئ المختلفة، فإن الدقة تبسط بشكل مفرط لجميع مشاريع التعلم الآلي باستثناء المشاريع النادرة جدًا حيث لا تختلف التكاليف، والدقة بالنسبة لمعظم المشاريع مجرد أداة تشتيت.

ولا يقتصر الكشف عن الاحتيال على تقديم قيمة تجارية، بل يسعى إلى تحقيق هدف مجتمعي ألا وهو مكافحة الجريمة. وفي المثال الموضح، يمنع الكشف عن الاحتيال أكثر من نصف محاولات المعاملات الاحتيالية، ويلبي بذلك توقعات المستهلكين. ورغم أن الناس ينزعجون أحيانًا من التنبؤ بسلوكهم من خلال نماذج؛ مثل تصنيفهم إلكترونيًا لتلقي إعلانات سيئة، فعلى سبيل المثال، عندما يتعلق الأمر باستخدام بطاقات الدفع، فإن العديد من المستهلكين يرحبون بالتنبؤ، ويتحملون بسعادة المعاملة المحظورة العرضية. وعلى العكس من ذلك، يرغب العديد من المستهلكين في تجنب فرض رسوم على عملية شراء لم يقوموا بها قط. وعلى هذا فإن حامل البطاقة النموذجي يتوقع الكشف عن الاحتيال، رغم أنه قد لا يكون على علم بذلك.

قرارات أفضل وقيمة أعلى

ومن خلال إعداد التقارير حول القيمة التجارية المطلقة لنموذج اكتشاف الاحتيال -في مثالنا، توفير في التكاليف بقيمة 16 مليون دولار- بدلًا من أدائه النسبي فقط من حيث الرفع أو أي مقياس فني آخر، يتم تزويد أصحاب المصلحة في الأعمال بشيء حقيقي لتقييمه، ويمكنهم اتخاذ قرار مدروس حول ما إذا كان ينبغي لهم تفويض نشر نموذج التعلم الآلي، وعن الكيفية والمدة.

ولأنه الوقت المناسب للتغيير، يجب على علماء البيانات إعداد تقارير عن مقاييس الأعمال بوصفه جزءًا من مهامهم. فعلى الرغم من أن سد الفجوة بين المقاييس التقنية والمقاييس التجارية أمر نادر اليوم، إلا أنه مشكلة سهلٌ التغلب عليها، وستحتاج إلى قادة وعلماء بيانات على استعداد لإعادة التفكير في الطريقة التي يناقشون بها ويقدمون تقارير عن مشاريع التعلم الآلي؛ ويكافؤون على القيام بذلك، وبهذه الطريقة، ستنتقلون معًا إلى نجاح مشروع التعلم الآلي.

—————————-

تُرجمت هذه المقالة بدعم من مبادرة «ترجم»، إحدى مبادرات هيئة الأدب والنشر والترجمة.

الآراء والأفكار الواردة في المقالة تمثّل وِجهة نَظر المؤلف فقط.