كيف تشتغل منصات الترجمة الآلية؟

لنأخد الترجمة في Google على سبيل المثال.

“إذا نظرتُ إلى مقال مكتوب باللغة الروسية، فإني أنظر إلى مقال مكتوب باللغة الإنجليزية إلاّ أنه خضع إلى تشفير معين، كل ما عليّيَ القيام به لأفهم المقال هو فك التشفير”.

إذا أردنا أن نُترجم جملة عربية لجملة انجليزية فسيتحتم علينا أمرين. أول شيء يجب أن نعرف كل كلمة ومُقابلها في اللغة الإنجليزية، بمعني نكون متقنين للمفردات “Vocabularies”، الشيء الثاني يجب أن نكون متقنين لقواعد اللغة، كي نرتب الكلام بحيث يعطينا أفضل إتقان وإيضاح للمعنى.

لماذا سنعلم الآلة أن تترجم، فهل نحن قادرين على تعليمها قواعد اللغة مثلاً؟

الجواب هو نعم، شركات مثل Google وMicrosoft وغيرهم لديهم أنظمة ترجمة ذكية منذ زمن.
بشكل عام لدينا ثلاث أنواع رئيسية للترجمة :
▫ أنظمة الترجمة المعتمدة على القواعد rule-based وهو أقدم نوع.
▫ أنظمة الترجمة الإحصائية statistical MT.
▫ أنظمة الترجمة باستخدام الشبكات العصبونية Neural MT،والتي بدأت Google باستخدامها منذ عام 2016.

في هذا المقال سنتحدث بشكل أساسي عن النوع الثاني والثالت.

🔹 نظم الترجمة الإحصائية SMT :

حتى يكون بمقدور نظام الترجمة الإحصائي ترجمة عبارة أو جملة من لغة (أجنبية) إلى لغة أخرى، فسيحتاج لعدة أمور :
أول شي بصفتنا كخبراء يجب أن نجمع عدد كبير من المصادر الموثوقة، والتي تكون مكتوبة بالإنجليزية ومترجمة للغة أخرى (ألمانية مثلاً)، ثم يجب أن نصمم ونتعامل مع نموذج اللغة “language model”، نموذج الترجمة “translation model”، وشيء مهم للغاية يُسمى محاذاة الكلام “Alignments”.

1. نموذج اللغة _ “language model”، مهمته هي أن يعطيني مقدار احتمالية أن تكون الترجمة التي ترجمها النظام صحيحة لغوياً.. وهذا يُساعد نظامنا على وضع الترتيب الصحيح للكلام المترجم، أي أنه يُعبر ضمنياً عن قواعد اللغة.

2. نموذج الترجمة _ “Translation Model” : يُعطيك احتمالية ترجمة عبارة إنجليزية إلى لغة أخرى. بكلام أوضح فهو يُعبر عن الاحتمالية الشرطية أن العبارة الفرنسية i مثلاً هي ترجمة محتملة للعبارة الإنجليزية e مثلاً. ولنجعل هذا النموذج فعالاً أكثر، فنحن فسنعطي الاحتماليات للكلمات بدل من العبارات. مثلاً الكلمة الألمانية haus يُوافقها house, home, shell, and household بالانجليزية. هذا الشيء كشفه نموذج الترجمة، ولكن بنفس الوقت كشف أن الاحتمالية الأكبر تكون لكلمة house .

3. الرصف Alignments: يُعبر عن mapping بين كلمات اللغة الأصلية وكلمات اللغة الأجنبية. يستخدمونه طي يعرف النظام الكلمات المتوافقة بين اللغتين حتى يبني أشبه ما يكون لقاموس. وهذا كله بالاعتماد على الطريقة الإحصائية “Maximum Likelihood Estimation” و”EM Algorithm.

🔹 نظم الترجمة العصبونية :

مع ظهور الـ deep learning أو ما يُسمى “التعلم العميق” صارت ترجمة neural machine translation هي النمط الأساسي والأفضل بين أنماط ترجمة الآلة.
بهذا النمط يتم استخدام شبكة عصبونية واحدة ضخمة من أجل نمذجة كامل عملية الترجمة، وهذا الشيء يُساعد كثيراً بالتقليل من عمليات الـ feature” engineering” المتعبة. بالإضافة لبساطة هذا النوع، فهو يُعطينا أداء عالي لكثير من الثنائيات اللغوية.