هل البيانات هي النفط الجديد (4) ؟

في هذه السلسلة من المقالات عن البيانات والتحليلات، تم التطرق في المقالات السابقة لأهمية البيانات والبعد التاريخي لعلم البيانات وأنواع التحليلات. في هذا المقال، سيتم الحديث عن رحلة تطويع البيانات بإستخدام الأنظمة والمنصات والأدوات المتداولة.

تبدأ هذه الرحلة من المصدر/المنبع (source system) وهو النظام الأولي حيث يتم تسجيل/حفظ البيانات للمرة الاولى. مثلاً، النظام حيث يتم تسجيل بيانات المواطن/المقيم/العميل للمرة الاولى او بيانات المنتجات او العمليات للمرة الاولى يعتبر نظام مصدر/منبع. في حالات اخرى، يتم التعامل مع نظام رديف تم بناءه بحيث يكون نسخة طبق الأصل من النظام الأولي بهدف ضمان استمرارية الأعمال وعدم التأثير على الأنظمة الأولية حيث يسمى النظام ب Operational Data Source او ODS. هذه الرحلة للبيانات تمر عبر منصات موقتة وأخيراً الي مخزن البيانات (Enterprise Data Warehouse او EDW) او بحيرة البيانات (Data Lake) لإستخدمها لأغراض التحليلات الأربع السابق ذكرها (انظر المقال السابق). هذه البيانات بعد وصولها ومعالجتها هي التي تستخدم عبر وسائل تنقيب البيانات (data mining tools) او للعرض عبر وسائل مختلفة مثل لوح بيانات (dashboards)، تقارير، تنبيهات عبر رسائل بريدية/نصية او في التطبيقات الدارجة للمساعدة في اتخاذ القرار.

هذه الرحلة للبيانات تتطلب إستخدام أدوات مختلفة لإستخراجها من النظام الأولي او الرديف، ولتحويرها ولتحميلها (extract, load and transform او ETL) في منصات إستضافة موقتة ومن ثم إلى المنصة  النهائية بمخزن البيانات او بحيرة البيانات. هذه المنصات الموقتة نوعها وعددها ( بين صفر ومنصتين بالغالب) يختلف بإختلاف المنشأة ونوعية البيانات. 

عملية إستخراج البيانات من المصدر الأولي تتطلب عناية وحذر لضمان إستخراج البيانات الصحيحة من المصدر الأساس او النظام الرديف مع عدم التأثير على إستمرارية الأعمال.

عند جمع وترتيب البيانات وتخزينها في مخزن/بحيرة البيانات بشكل تاريخي (مثلاً جميع العمليات الحالية والسابقة للعملاء الحاليين والسابقين)، بإمكان المنشأة من معرفة الأنماط والتطورات بشكل تاريخي بما يمكنها من الإجابة على أنواع التحليلات السابقة. وجود هذه البيانات التاريخية من جميع الأنظمة بالمنشأة في مكان واحد كذلك وباستخدام أحدث أنظمة  التحليلات يمّكن علماء البيانات من إكتشاف أنماط وعلاقات لم تكن لتكتشف بالعقل البشري المجرد. فعند وجود مئات الخصائص عن كل شخص وعن كل منتج تم طلبه وعن المواقع التي تم الطلب منها وعن الحالة المناخية والموسمية التي تم الطلب فيها، بإمكان بعض المنشأت من معرفة أدق السلوكيات والحالات الصحية حتى قبل معرفة الشخص المعني نفسة عن الحالة. ففي حالة شهيرة لسلسة أسواق تجارية كبرى بالولايات المتحدة، تمكنت هذه الشركة من التنبؤ بحالات الحمل عن طريق تحليل العمليات التاريخية لمشتريات عملاءها وبالتالي معرفة مايتم شراءه في بداية الحمل والتواصل معهم لعرض منتجات ذات علاقة (قصة حقيقية)!