البيانات العربية

تعد اللغة العربية اللغة الرابعة عالميًّا ضمن أكثر اللغات استخدامًا على الإنترنت، وهي أكبر عضو في عائلة اللغات السامية إذْ يتحدث بها ما يقرب من 500 مليون شخص في جميع أنحاء العالم، ومن ثَم كانت إحدى اللغات الرسمية الست للأمم المتحدة مما يعطي أهمية بالغة لإنشاء أطر تحليل للنص العربي.

وتقدر نسبة المحتوى الرقمي العربي على الإنترنت 3%. وقد أُجريت العديد من الدراسات حول تحليل اللغات المكتوبة بأحرف لاتينية بما في ذلك الإنجليزية والألمانية والإسبانية والهولندية في مقابل دراسات قليلة عن النص العربي، ذلك أن اللغة العربية تمتلك العديد من المميزات والصفات التي تجعل من الصعب تطوير إطار عمل تحليل فعال لها نظراً لتعقيدها>

أول هذه التحديات يتمثل في أن اللهجات واللغات التي تعتمد على النص العربي -مثل اللغة العربية المعاصرة، واللغة العربية التقليدية- تتضمن كثيرًا من التماثل وعدم اليقين في معنى الكلمات بدرجات مختلفة، وقد لوحظ تقدم ضئيل في المعالجة الحسابية للغات القائمة على النص العربي، ومع ذلك طرح عدد من الباحثين أدوات حسابية للغات العربية والموارد التي تستند إلى النصوص العربية المعدلة وليس إلى النصوص العربية الأصلية، وكان من بين التحديات أيضًا عدم تمثيل حروف العلة القصيرة في الرسائل النموذجية مما يؤدي بشكل كبير إلى الغموض، لذا تعد إدارة هذه المشكلات تحديًّا حقيقيًّا في معالجة اللغات المكتوبة باللغة العربية.

وإن الباحث والمهتم في هذا المجال يجد أن عملية تحليل البيانات على شبكات التواصل الاجتماعي (البيانات الضخمة) في المنطقة العربية تواجه جُملةً من التحديات المختلفة، بما في ذلك ضخامة وتعقيد البيانات، وصعوبة تطبيق التقنيات الآلية عند معالجة مجموعة بيانات عربية مشتقة من السلوك أو التعبير البشري، فضلا عن عدم اكتمال وشفافية مجموعة البيانات التي لاتزال في مراحلها الأولية، وبالطبع، فإن جودة النتائج تعتمد على نوعية الخوارزميات وكمية البيانات المتوفرة لها.

وعلى الرغم من كون الخوارزميات والأساليب المستخدمة في معالجة اللغات الطبيعية حيادية لغويا، إلا أننا نجد أن جودة التطبيقات أعلى في لغات معينة كالإنكليزية والألمانية لكونها غنية بموارد البيانات وليس لأي خصائص لغوية تميزها عن لغات فقيرة نسبيا بموارد البيانات كاللغة العربية ولهجاتها، واللغة العربية مجموعة من اللهجات المرتبطة ببعضها لغويا وتاريخيا، والتي يتميز بعضها اجتماعيا.

لغة الإنسان العربي اليومية قد يتخللها تنقل بين العامية والفصحى ومفردات على درجات مختلفة من التعرّب من لغات أخرى كالإنكليزية والفرنسية.

وأن تطبيقات الذكاء الاصطناعي اللغوية يجب أن تُصمم لخدمة هذا الإنسان واحتياجاته اللغوية كلها: مثلا، أنظمة المساعدة الآلية يجب أن تتعرف تلقائيا على لهجته، وتتفهم أوامره وأسئلته، وتجيب عليها باللهجة التي هو يفضلها كمستخدم. ويعتبر الإملاء والصرف هما أيضاً من تحديات اللغة العربية في مجال معالجة اللغات الطبيعية.

أما بالنسبة للنحو، وبنية الجملة ودلالتها، فاللغة العربية ليست فريدة من نوعها بين لغات العالم. وهذا لا يعني أنها مسائل سهلة الحل، على العكس، بل وتحتاج إلى الكثير من الموارد الخاصة، ولكنها ليست فريدة ومميِزة للغة العربية. أولى تحديات الإملاء العربي هي التشكيل الاختياري المسبب للإبهام.

فعدا النصوص المقدسة وكتب الأطفال المدرسية، نجد أن التشكيل المساعد لفك اللبس الدلالي والنحوي يستخدم بنسب ضئيلة جدا، لا تتعدى 1.5 بالمئة في نصوص الجرائد اليومية.