إضافة سجلات مخصصة في Apache Airflow

إضافة السجلات إلى سجلات Apache Airflow يمثل خطوة مهمة لتتبع تنفيذ سيناريوهاتك وفهم سير عمل المهام بشكل أفضل. على الرغم من أن Apache Airflow يوفر آليًا سجلات مفصلة لأنشطة سير العمل، إلا أنه قد يكون من الضروري في بعض الأحيان إضافة سجلات خاصة بها لتسجيل معلومات مخصصة.

لإضافة سجلاتك الخاصة إلى سجلات Apache Airflow، يمكنك استخدام وحدة التسجيل الخاصة بـ Airflow والتي تعتمد على مكتبة Python “logging”. يمكنك استخدامها بنفس الطريقة التي تستخدمها لتسجيل الرسائل في تطبيق Python عادي.

في البداية، يمكنك استيراد وحدة التسجيل وتكوينها وفقًا لاحتياجاتك. على سبيل المثال، يمكنك تكوين مستوى تسجيل السجلات باستخدام دالة basicConfig():

pythonCopy code
import logging

logging.basicConfig(level=logging.INFO)

ثم، يمكنك استخدام وظائف وحدة التسجيل لتسجيل الرسائل في ملفات السجلات أو إخراجها إلى الكونسول أو أي وجهة أخرى تفضلها. على سبيل المثال، يمكنك استخدام info() لتسجيل رسالة معلومات:

pythonCopy code
logging.info("This is an informational message")

كما يمكنك تكوين Airflow لاستخدام هذه السجلات في سياق سير العمل. يمكنك استخدام مهمة PythonOperator لتشغيل الأوامر التي تسجل السجلات الخاصة بك. على سبيل المثال:

pythonCopy code
from airflow import DAG
from airflow.operators.python_operator import PythonOperator
from datetime import datetime

def my_custom_function():
    logging.info("This is a custom log message")

dag = DAG('my_dag', description='A simple tutorial DAG',
          schedule_interval='0 12 * * *',
          start_date=datetime(2024, 1, 1))

task = PythonOperator(
    task_id='my_task',
    python_callable=my_custom_function,
    dag=dag,
)

تذكر أن تكون حذرًا عند تسجيل الرسائل، وخصوصًا إذا كنت تستخدم مستويات تسجيل عالية مثل DEBUG، فقد يؤدي ذلك إلى زيادة كبيرة في حجم ملفات السجلات.

باستخدام هذه الطريقة، يمكنك دمج سجلاتك الخاصة مع سجلات Apache Airflow الموجودة بالفعل، مما يساعدك في تحليل ومراقبة تنفيذ سيناريوهاتك بشكل أفضل وأكثر فعالية.

بعد أن قمت بتكوين سجلاتك الخاصة ودمجها في Apache Airflow، يمكنك الآن الاستفادة من ميزات أخرى تقدمها Airflow لإدارة ومراقبة سجلات التشغيل.

استخدام Airflow UI لعرض السجلات:

عند تشغيل سيناريوهاتك، يمكنك الانتقال إلى واجهة المستخدم الخاصة بـ Apache Airflow لعرض السجلات. يتيح لك Airflow UI رؤية جميع سجلات تنفيذ السيناريوهات بشكل مركزي وسهل الوصول إليه.

في واجهة المستخدم، يمكنك التنقل إلى صفحة “DAGs” لعرض السيناريوهات المتاحة. بمجرد اختيار السيناريو المناسب، يمكنك النقر على علامة التبويب “Graph View” لعرض التنفيذ الحالي وسجلات التشغيل.

تكوين السجلات في Airflow للمزيد من التفاصيل:

قد ترغب في تخصيص تكوينات السجلات في Apache Airflow بحسب احتياجاتك الخاصة. يمكنك فعل ذلك من خلال تعديل ملف التكوين الرئيسي لـ Airflow (airflow.cfg).

يمكنك تغيير مستويات التسجيل وتحديد مواقع ملفات السجلات وتكوينات تنسيق السجلات والمزيد. هذا يسمح لك بتخصيص تجربة السجلات لتناسب بيئتك واحتياجات تحليل البيانات.

استخدام مزودي خدمات السحابة لإدارة السجلات:

إذا كنت تستخدم Apache Airflow على مزود خدمات السحابة مثل AWS أو Azure أو Google Cloud، فيمكنك استفادة من خدمات السجلات المدمجة التي تقدمها هذه المنصات.

على سبيل المثال، يمكنك استخدام AWS CloudWatch Logs أو Google Cloud Logging أو Azure Monitor Logs لتخزين ومراقبة سجلات التشغيل. يمكنك تكوين Airflow لإرسال سجلاته مباشرة إلى هذه الخدمات، مما يسهل عليك تحليل ومراقبة أداء سيناريوهاتك في بيئة السحابة.

الختام:

باستخدام Apache Airflow، يمكنك إضافة سجلاتك الخاصة بسهولة وفعالية، مما يساعدك في فهم ومراقبة تنفيذ سيناريوهاتك بشكل أفضل. بتوظيف وحدة التسجيل الخاصة بـ Airflow وتكوينات السجلات المخصصة، يمكنك الاستفادة القصوى من قدرات تحليل البيانات ومراقبة الأداء التي يوفرها Airflow.