كود التفعيل

57473037814514058742132154134125845684712774124870852147492234782821478245821784215837524981315874667021013754872345757

كل ما تحتاج معرفته حول الBig Data و لغات البرمجة الخاصة بها !


كل ما تحتاج معرفته حول الBig Data و لغات البرمجة الخاصة بها !



عالمنا مليئ حقا بالمعلومات و البيانات ، امر لا يمكن لأي احد منا إنكاره ، فنحن نقتبس كل يوم مجموعة من المعلومات ، التي من شأنها ان تتحول الى بيانات قابلة للإستخدام بالطبع ، اليوم سنتحدث قليلا عن البيانات ، و إن صح التعبير سنتحدث عن البيانات الضخمة او الBig Data ، لكن قبل ان نلج الى موضوعنا هذا ، و الذي من شأنه ان يكون طويلا كفاية كوننا سنتطرق الى جميع جوانب الBig Data ، علينا اولا ان نفهم ما هي البيانات ، البيانات هي نتائج لمعلومات او معارف إستنتجناها سابقا او تم فرضها إن جاز ذلك ، لأفسر لك الأمر أكثر و بسهولة أكبر ، فنحن نعرف مسبقا مثلا ان طاقة جسم ما يساوي كتلته مضروب في مربع سرعة الضوء ، او كما معروف عند الجميع ب E = M.c² ، حسنا هذه هي المعلومة ، فكيف نستنتج إذن البيانات من هذه المعلومة ، ببساطة ، إن اخبرتك ان تتسنتج لي الطاقة الموجود في كل من الحجارة ، شاحنة ، و طائرة ، فستحصل على قيم مختلفة بإستخدامك للمعادلة السابقة ، اي ستحصل على 3 معلومات ، 3 بيانات جديدة ، و هذه هي البيانات ، و يمكننا حفظها لإستخدامها في وقت لاحق ، اليوم لن نتحدث عن هكذا نوع من بيانات ، لأن هذه البيانات أشبه بالإحصائيات ، اليوم سنتحدث عن البيانات في عالم الأحاد و الأصفار ، اليوم سنتحدث عن الBig Data . 



ما هي الBig Data في مفهومها البسيط ؟ 

في المفهوم البسيطة ، الBig Data او البيانات الضخمة هي مجموعة من البيانات مختلفة النوع منها الكتابية و المسموعة و المقروءة و غيرها و التي يتم تكديسها و تجميعها و الإحتفاظ بها ، يجوز بالذكر ان هذه البيانات يتم تناقلها بسرعة هائلة ، بعبارة أخرى ، البيانات الضخمة هي كل معلومة يتم تداولها في عالم الحواسيب و الهواتف و الإلكترونيات بصفة عامة ، نعم ، فكل ما تنشره على الفيسبوك من منشورات و كل ما تغرده على تويتر من تغريدات ، و كل ما تنشره من صور على انستغرام يتم تسجيلها بدون شك و إدراجها ضمن قائمة الBig Data ، تعاليا على ذلك ، فليس فقط ما يتم تداوله في المواقع ، بل حتى معلومات الشركات الكبرى ، فمثلا كل المعلومات التي تلتقطها طائرة ايرباص او بوينغ ضمن رحلاتها اليومية يتم تسجيل بياناتها في الBig Data ، خلاصة القول ، البيانات الضخمة ، هي ما تداولناه سابقا ، و نتداوله الأن ، و سنتداوله لاحقا ، فحياتنا على الويب كلها مسجلة في الBig Data ، لماذا هي مسجلة ؟ و بأي تصريح يسجلونها ، كل ذلك سنعرفه في الفقرات القادمة . 

ماذا عن المفهوم المعقد ؟ 

** يجب ان تكون لديك خلفيات في مجال البرمجة اثناء قراءتك هذه الفقرة ** 
إعتدنا ان تكون البيانات التي يتم تخزينها في قواعد البيانات التي نقوم بصناعتها مضبوطة ، فمثلا ، إثناء إنشاء لقاعدة بيانات مدرسة ، اقوم أيضا بإضافة جدول التلميذ يحمل حقول رقم التلميذ ، و إسمه مثلا ( بشكل أساسي ) ، ثم أحدد نوعي الحقول ، فمثلا احطي لرقم التلميذ بيانات من نوع Integer بينما اعطي لإسمه بيانات من نوع Varchar او Text مثلا ، حسنا ، الBig Data تجاوزت مفهوم الحد من نوع البيانات ، فأي نوع من البيانات قابل للتسجيل و بشكل تلقائي و دون إدراجه في جدول محدد ( ليس تماما ) سأشرح لك الأمر ، فبدلا من أخصص سيرفر ( خادم ) ليسجل كل الصور المنشورة على الفيسبوك ، فإني اخصص السيرفر لتخزين نوع محدد من الصور في جميع المواقع الأخرى ، احدد مثلا ان صور الهواتف سيتم تخزينها في هذا السيرفر ، و صور المناظر الطبيعية في هذا السيرفر ، ببساطة ، انا اجزء البيانات من اجل سهولة البحث عليها ، دعونا نعود الى نوع البيانات المخزنة ، فهي لا تنتمي لنوع محدد ، فأي نوع من البيانات قابل للتسجيل و الحفظ ، سواء كان كتابة ، صور ، فيديوهات ، صوت ، وثائق ، كلمات سر ، إشهارات ، و كل أنواع البيانات الأخرى ، يجوز بالذكر أيضا ان التخزين في الBig Data قد تجاوز مفهوم التخزين السحابي أيضا ، فليست البيانات مخزنة و محفوظة بأمان ، بل أصبح فقط لأشخاص معينين الولوج لهذه البيانات و سنحدد بالطبع من هؤلاء الأشخاص في الفقرات القادمة . 

بما تتميز الBig Data ؟ 

كل ما تحتاج معرفته حول الBig Data و لغات البرمجة الخاصة بها !


بالطبع ا لBig Data تختلف إختلافا كليا عن قواعد البيانات و البيانات التقليدية التي قصدناها سابقا في الموقع ، حسنا الBig Data تمتاز بمميزات مهولة و تتلخص في 4 نقاط أساسية ، اولا حجم البيانات ، نحن لا نتحدث هنا عن مجموعة من الجيجا ، دعني اقول لك انه اخر إحصائيات و تمت سنة 2015 تقول انه في كل دقيقتين يتم تسجيل ما يقارب 7 ملايين تيرا بايت من البيانات ، رقم خيالي اليس كذلك ؟ حسنا ، مقارنة بما بين ايدينا فأعتقد انه جد جد ضئيل ، فنحن نتحدث عن كل ما يتم نشره في أزيد من 1000 موقع إجتماعي ، ناهيك عن ملايير المواقع الأخرى و لا تنسى البيانات الأخرى كما اخبرتك سابقا مثلا بيانات الطائرات و الشركات التي تعتمد على الحوسبة و غيرها ، اذا ما قارنت كل ذلك ، فأعتقد ان حجم 7 ملايين تيرابايت لا شيئ صديقي ، من خصائص الBig Data ايضا إختلاف و تنوع البيانات ، وهو امر ذكرناه في فقراتنا السابقة و لا زلنا نذكره ، الBig Data لا تقبل فقط البيانات من نوع Varchar و integer ، بل كل أنواع البيانات مرحب بها للدخول الى عالم البيانات الضخمة ، فأي بيانات يعود مصدرها الى رقم ثنائي ( 0 و 1 ) قابلة للتسجيل ضمن الBig Data ، و هذه من أفضل سماتها بالطبع على عكس قواعد البيانات الأخرى التي لا تسمح الا بأنواع البيانات التي تحددها لها انت ، سرعة تداول البيانات أيضا من مميزات الBig Data ، فكما اخبرتك انه في كل دقيقتين  ملايين التيرابايت يتم تسجيلها و حفظها ، لذلك فسرعة تناقل المعلومات في الBig Data من حفظ للمعلومات او إستدعاء للمعلومات يتم بشكل سريع و فوري رغم ضخامة المعلومات المسجلة ، و اخيرا و ليس اخرا صحة المعلومات المسلة في الBig Data ، قد ينتابك الشك هل البيانات التي يتم تسجيلها في الBig Data بيانات صحيحة و ليست زائفة ، حسنا دعني أقول لك انه 95% من البيانات التي يتم تسجيلها هي بيانات حقيقية و صحيحة ، لماذا ؟ و كيف ذلك ؟  هذا ما سنشرحه في فقرتنا الموالية . يجوز بالذكر ان رباعية الخصائص هذه يشار إليها بال Four V او رباعية V . 

من ينتج البيانات التي يتم تسجلها في الBig Data ؟


لأكون مع في دقة الصراحة ، الBig Data نتائج لمعلوماتنا الشخصية ، صورك ، بياناتك ، ما تفضله من مأكولات ، ذوقك في اللبس ، حياتك الشخصية كلها مسجلة في الBig Data ، نعم ، فكل ما تقوم به على الفيسبوك يتم تجميعه و إستنتاج ما تحب و ما لا تحب ، ليس الفيسبوك فقط ، بل معلوماتك في الثانوية او المدرسة ، او معلوماتك في مجال الأنترنت بكامله ، ببساطة ، إن كنت تتخفى الآن عن طريق الفيسبوك بإسم مستعار ، فأجزم انهم عرفو حقيقتك الآن ، ليس فقط انت و أنا و نحن من نملأ الBig Data ، بل معلومات الشركات الكبرى أيضا ، لا تعتقد ان معلومات الناسا ليست مسجلة في قوائم الBig Data ، و لا تعتقد ان الوصفة السحرية لإعداد Krasty Krab الخاص "بسبونج بوج" ليست مسجلة هي الأخرى في الBig Data ، لكن صديقنا " بلانكتون " لن يستطيع الوصول إليها و سنشرح ذلك في الفقرة الموالية أيضا ، نحن نعيش في عالم تقني تكنولوجي بإمتياز ،لذلك فكل ما يتم تداوله عبر الأجهزة التكنولوجية و التقنية يتم تسجيله فالBig Data ، فإن كنت تتسائل إذن عن 7 ملايين تيرابايت التي يتم تسجيلها في دقيقتين ، ففكر فقط في كمية البيانات التي تكتبها بلوحة المفاتيح او ترفعها في احد المواقع في دقيقتين فقط .

في ماذا يتم إستخدام المعلومات المخزنة في البيانات الضخمة ؟ 


سؤال وجيه ، لماذا اذن يتم تسجل تريليونات من البيانات في الساعة مع انها معلومات لا طائل منها ، فما الفائدة التي ستعود عليهم إذا عرفو انني من محبي البطاطا المقلية من خلال نشرها في احد منشوراتي على حسابي على الفسيبوك ؟ حسنا ، علينا اولا ان نعرف من هم الأشخاص المخول لهم الحصول على هكذا معلومات ، دعني اولا اخبرك انه تم تقنين الوصول الى معلومات البيانات الضخمة من طرف الشركات سنة 2011 ، لذلك قانونيا ، نعم يمكنهم الحصول على ما يريدون ، اما هؤلاء الأشخاص فهم الشركات الإقتصادية بالدرجة الأولى ، فالفيسبوك مثلا تستغل البيانات الضخمة لتعرف ما الذي تحبه أكثر و ما الذي تريده أكثر و ذلك لسببين ، اولا من أجل ان تقدم لك إعلانات مناسبة لك - لأنه كله قائم على الإقتصاد - لكي تستطيع تلك الإعلانات ان تثير إهتمامك ، و ثانيا من اجل معرفة وجهة نظرك في أشياء ما ، مثل رضاك عن الحكومة و دولتك او رأيك في باراك اوباما مثلا ، ليس الفيسبوك فقط ، بل كل شركات العالم و خصوصيا الإقتصادية منها لها حق الوصول للبيانات الضخمة ، فشركة كوكاكولا تراجع البيانات الضخمة الخاصة بمحبي منتوجها في المغرب لتعرف إن كانو يحبون كوكاكولا لايت او كوكاكولا زيرو ، ناهيك عن ذلك ، فالحكومات و المنظمات لها أيضا حق الوصول للبيانات الضخمة ، و تمثل سببها في أنه من الواجب عليه تعقب تحركات الشعب تفاديا لأي أعمال إرهابية او ميليشيات متعصبة ، لذلك ، فأصبح عالم الويب و التكنولوجيا يلعب دور جد جد قوي في تتبع تحركات الإرهابيين و معرفة مخططهم و اماكنهم و حتى القبض عليهم ، لذلك من وجهة النظر الأمنية ، يحرم على العاملين في المجالات العسكرية او المجالات السرية - الأسلحة على سبيل المثال - الحصول على حسابات في عالم الويب او حتى إشتغالهم عليه . 

كوني مبرمج ، كيف أدخل الى مجال الBig Data ؟



** يجب ان تكون لديك خلفيات في عالم البرمجة اثناء قراءتك هذه الفقرة ** 



في مجال الBig Data ، لا يكفي ان تكون مبرمج فقط ، بل هناك درجات و درجات في هذا المجال ، لكن ، سنبدأ بما هو بسيط ، لنصل الى التعقيد المبسط بالطبع ، لذلك ، دعونا نبدأ بلغات البرمجة المهمة و المستخدمة في الBig Data : 

Python : من اللغات القوية جدا و التي ذاع صيتها جدا ، البايثون من اللغات القوية جدا و التي يتم إستعمالها في العديد من الأشياء ، سواء برمجة تطبيقات مكتبية او برمجة مواقع و غيرها ، و تعلمها سيفيدك كثيرا في مجال الBig Data ، خصوصا ان للبايثون مستقبلا أفضل في مجال التكنولوجيات الحديثة . 

SQL : بالطبع في الBig Data نحن نتعامل مع قواعد البيانات بكل تأكيد ، و الSQL من أشهر و أقوى لغات إنشاء و إدارة قواعد البيانات ، صحيح اننا سنتعامل مع بيانات ضخمة ربما تكون فيها اكواد الSQL ضئيلة ، لكن هذا لا يعني ان تعلمها لن يفيدك ، بل سيفيدك جدا جدا . 

Scala : هي لغبة برمجية تعتمد على الجافا بالطبع ، الScala تعتمد على مبدأ الScalability كما جاء في إسمها ، اي انها تعتمد على المرونة و التحليل قبل كل شيئ ، لذلك ، فتعلم الScala او على الأقل أخذ فكرة عنها ليست بفكرة سيئة إن كنت تريد الولوج الى عالم الBig Data 

هناك في الحقيقة العديد و العديد من اللغات و المنهجيات التي يجب عليك تعلمها ، فإلى جانب اللغات الثلاث ، هناك ايضا Matlab التي يجب عليك ان تتقنها هي الأخرى ، لا ننسى ايضا كلا من HiveQL و Pig Latin ، علاوة على ذلك ، تعلم ايضا Sas و Julia سيفيدانك في هذا الموضوع إفادة كبرى . 
في مجال الBig Data - برمجيا و عمليا - ، هناك مراتب بالطبع لكل من العاملين في هذا المجال ، فلا يجوز ان يكون جميع الIT بتقنون لغات البرمجة مخصصين للتعامل مع قواعد البيانات الضخمة تلك ، لذلك ، فتم تقسيم العمل في مجال الBig Data الى المجالات التالية ، و سأحاول ان اشرحها بإختصار لكثرة مصطلحاتها و ضخامة مفاهيمها : 
Data Warehousing : وهي الفئة التي تعمل على تجميع البيانات بكل حذافرها ، لكنها تقوم بعملية التنقية او العزل (Filter) فقط من اجل عزل اذا ما كانت هناك بيانات لا تناسب و لا داعي لحفظها ، او ربما قد تكون بيانات مفيرسة او ضارة ، فلا تنسى ان كل ما يتم رفعه على الأنترنت يتم تخزينه ، و لا ننسى فئة المخترقين الذين يرفعون ايضا تطبيقاتهم المضرة في عالم الويب ، لذلك ، وجب فلترة هكذا ملفات و عدم تسجيلها ، لأنها لن تكون مفيدة ، و ضارة ، و الأهم من ذلك ، انها ليست مؤكدة و صحيحة 100% و هي واحدة من خصائص الBig Data ( يمكنك الرجوع لفقرة خصائص الBig Data ) .
Data Collection : في هذا القسم يتم الإعتماد على تجميع البيانات و حفظها في المكان المخصص لها ، ذكرت لك سابقا ، انه يتم تقسيم البيانات لإجزاء صغيرة و تخزين كل فئة (Category) على سبيل المثال في جداول و قواعد محددة ، في هذه المرحلة يتم تجميع البيانات المأخوذة من Data Warehousing و تقسيمها و تجزيئها و حفظها ، و بالطبعة فلترة المعلومات الغير مفيدة او الغير كاملة ، و في الغالب يمكن تصفية الأمر الى ان يتم عزل فقط المعلومات الخاصة بمجال معين ، في حالة مثلا اذا ماتوصلت بمجموعة من البيانات و لكني لا احتاج - في تلك اللحظة - سوى البيانات المتعلقة بمجال السيارات مثلا في حالة اذا ماكنت الشركة التي اشتغل لديها مهتمة بهذا المجال . 
Data Analysis : لا فائدة من بيانات متكدسة امامك ان لم تكن قادرا على فهمها و تحليلها و إستخراج الجزء الأهم منها و هو كيفية إستغلالها ، لذلك ، فمحلول قواعد البيانات ضروريون في أي مؤسسة تستخدم الBig Data ، ان احلل البيانات الواقعة بين يدي و أعرف كيف استغلها امر ضروري اذا ما كنت اريد ان اقدم لعملائي الأخرين بيانات تفيد ان السيارة ذات اللون الأحمر تجلب 55% من الزوار لموقعنا على عكس السيارة ذات اللون الأزرق ، ان احلل و افسر هكذا بيانات سيفيدني جدا جدا ، بل في الحقيقة هو اساس الBig Data ، و أحزر ماذا ، هذه المرحلة تتطلب حنكة قوية في مجال تحليل قواعد البيانات او التعامل مع قواعد البيانات بشكل عام . 
Data Transformation : بعض ان مررنا بخضم مجموعة من الوسائل و المناهج و الطرق لتحليل و تعديل و فلترة البيانات القادمة لنا ، و إستنتاج خلاصة إنطلاقا من تلك البيانات عن طريق التحليل ، فقد حان الوقت لتطبيق التغييرات اللازمة من أجل ان تتخذ مرحلة تطوير الشركة / المنتوج منهجها الخاص إنطلاقا من التحليلات ، في هذه المرحلة ، نسميها Data Transformation ، ببساطة ، هي تطبيق كل ما تم إستنتاجه من بيانات على أرض الواقع ، و تطبيق سلسلة التحليلات من أجل الحصول على عائد أفضل . 

كانت هذه تقريبا أهم ما يجب معرفته حول الBig Data ، ان لم تفهم احد الفقرات بالضبط او لا زالت تنتابك بعض الشكوك حول مسألة ما ، يمكنك فقط إما طرحها علينا في التعليقات ، او إستخدام محركات البحث للعثور على مرادك . 



اترك تعليقا :

هناك 13 تعليقًا:

  1. باااااارك الله فيك أخي على الموضوع الجد هام....شكرا على النشر مجددا

    ردحذف
    الردود
    1. شكرا صديقي ، على الرد الجميل :)

      حذف
    2. I realy like this article ,can't wait for the next chapter ... nice work

      حذف
  2. موضوع رائع جدا كالعادة

    ردحذف
  3. من أجمل المواصيع
    مشكور أخي

    ردحذف
  4. merci pour l'article, je compte creer une plateforme pour les diabetiques,les donnes colléctées des partages des membres, aussi que les résultats des sondages en ligne, je pense utiliser le cms drupal et une base de données Mysql comme la plupart des site esanté, est ce que vous pensez que j'ai fait des bons choix? comment je peux concevoir ma palteforme dans une vision big data? t

    ردحذف
  5. ارجوا ان يتم نشر نفس المواضيع باللغة الانقليزية ايضا شكرا جزيلا

    ردحذف
  6. جزاك الله خيرا أخي جميع مواضيعك مهمة وبشرح مبسط بارك الله فيك

    ردحذف
  7. موضوع ممتاز ومهم أحسنت أخي

    ردحذف
  8. جزاك الله خيراً على معلومات القيمة التي تثرينا بها .. وأيضاً على طريقة الشرح وحسن اللغة جزاك الله خيراً

    ردحذف
    الردود
    1. ياريت لو في كورسات عن في مجال الكلاود يكون الشرح فيها باللغة العربية

      حذف