كيفية التحكم في ختام spark-submit بعد التقديم في وضع YARN

عندما تقوم بتقديم برنامج Spark Streaming باستخدام الأمر spark-submit في وضع YARN ، يستمر في الاستطلاع للحالة ولا يغادر أبدًا. هل هناك أي خيار في spark-submit يمكن استخدامه للخروج بعد التقديم؟ لماذا هذه المشكلة تؤثر عليك؟ البرنامج الذي يعمل بتدفق سيعمل باستمرار ولن تكون هناك حاجة لتحديث الحالة. يمكنني استخدام ctrl+c لإيقافه إذا قمت بتشغيله يدويًا ، ولكن لدي العديد من سياقات التدفق لبدء تشغيلها باستخدام النصوص. يمكنني وضع برنامج spark-submit في الخلفية ، ولكن بعد إنشاء العديد من عمليات الجافا في الخلفية ، لن يكون المستخدم قادرًا على تشغيل أي عملية جافا أخرى لأن الآلة الظاهرة للمستخدم لن تكون قادرة على إنشاء خيط GC.

بالطبع، دعني أوسع شرحي لهذه القضية. عند استخدام أمر spark-submit في وضع YARN لتقديم برنامج Spark Streaming، يظل البرنامج يستمر في متابعة حالته بشكل دائم ولا ينهي تنفيذه تلقائيًا بعد الانتهاء من التقديم. هذا التصميم يعود إلى طبيعة تشغيل تطبيقات البيانات المتدفقة.

المشكلة التي تواجهك تكمن في أن البرنامج الذي يدير بيانات البث سيظل في حالة تشغيل دائمة، وبالتالي لا تحتاج إلى تحديث حالته بصفة دورية. يمكنك إيقاف تشغيله يدويًا باستخدام Ctrl+C، ولكن نظرًا لأن لديك العديد من سياقات التدفق وتحتاج إلى بدء تشغيلها من خلال نصوص، تصبح هذه العملية غير عملية.

في محاولة لتجنب القضايا الناتجة عن إيقاف التشغيل اليدوي للبرامج، قمت بتجريب وضع برامج spark-submit في الخلفية. ومع ذلك، واجهت تحديات عند إنشاء العديد من عمليات الجافا في الخلفية، حيث أنها قد تؤدي إلى عدم قدرة المستخدم على تشغيل أي عمليات جافا أخرى بسبب قيود على إنشاء خيوط GC (Garbage Collection).

لحل هذه المشكلة، يفضل دراسة إمكانية تحسين السيناريو الخاص بك عبر استخدام أدوات تحكم في العمليات وإدارة تدفق البيانات، مثل Apache Airflow أو Apache Flink، حيث يمكن أن تسهم في تسيير العمليات بشكل أكثر فعالية وتحسين إدارة الموارد.