استخراج بيانات Total من ملفات CSV وإضافتها يوميًا

لحل هذه المشكلة، يمكنك استخدام مكتبة pandas في لغة Python التي تتيح لك قراءة ومعالجة ملفات CSV بسهولة. يمكننا استخدام pandas لقراءة كل ملف CSV، استخراج الصف الذي يحتوي على “Total”، ثم كتابة هذا الصف إلى ملف جديد.

إليك خطوات الحل:

1. استيراد مكتبة pandas.
2. قراءة كل ملف CSV باستخدام pandas.
3. استخراج الصف الذي يحتوي على “Total”.
4. كتابة هذا الصف إلى ملف جديد.

الآن دعنا نقوم بتطبيق هذه الخطوات:

pythonCopy code
import os
import pandas as pd

# المسار إلى المجلد الذي تحتوي عليه ملفات CSV
directory = '/path/to/your/csv/files/'

# قائمة لتخزين البيانات من كل ملف CSV
data_list = []

# قراءة كل ملف CSV واستخراج الصف الذي يحتوي على "Total"
for filename in os.listdir(directory):
    if filename.endswith(".CSV"):
        file_path = os.path.join(directory, filename)
        df = pd.read_csv(file_path)
        total_row = df[df['commodity'] == 'Total']
        if not total_row.empty:
            data_list.append(total_row.values[0])

# إنشاء DataFrame من البيانات المستخرجة
result_df = pd.DataFrame(data_list, columns=['business_day', 'commodity', 'total', 'total_lots'])

# حفظ البيانات في ملف CSV جديد
result_df.to_csv('/path/to/your/new/file.csv', index=False)

هذا الكود يقوم بتحميل جميع ملفات CSV في المسار المحدد، ثم يستخرج الصفوف التي تحتوي على “Total” ويقوم بتخزينها في DataFrame. في النهاية، يتم حفظ هذه البيانات في ملف CSV جديد.

يمكنك استبدال “/path/to/your/csv/files/” بالمسار الفعلي إلى مجلد ملفات CSV الخاص بك، وكذلك “/path/to/your/new/file.csv” بالمسار الذي تريد حفظ الملف الجديد فيه.

بمجرد أن تكون قد قمت بتنفيذ الخطوات المذكورة أعلاه، ستكون قد أنشأت ملفًا جديدًا يحتوي على البيانات المستخرجة من ملفات CSV الأصلية. وبما أنك ترغب في إضافة قيم جديدة يوميًا إلى هذا الملف الجديد، يمكنك تكرار العملية يوميًا باستخدام مهمة مجدولة (مثل cron job في نظام التشغيل Linux) أو كتابة سكريبت برمجي يقوم بتنفيذ العملية تلقائيًا.

من المهم ملاحظة أنه في حالة تنفيذ العملية يوميًا، يجب أن تتحقق من أن الملفات الجديدة التي تمت إضافتها يوميًا تتبع نفس الهيكلية كملفات CSV الأصلية، وأن تحمل الصف الذي ترغب في استخراجه علامة “Total” في العمود “commodity”.

قد تكون بعض الأمور التي يمكنك النظر فيها لتحسين عملية الاستخراج وتنظيم البيانات هي:

1. التعامل مع الأخطاء والاستثناءات: يجب أن تتحقق من وجود ملفات CSV فعلية في المسار المحدد، وأنها تحتوي على بيانات صالحة قبل قراءتها باستخدام pandas. يمكنك أيضًا التحقق من وجود الصف الذي تبحث عنه قبل استخراجه لتجنب الأخطاء.

2. تحسين الأداء: إذا كانت العملية تأخذ وقتًا طويلاً نظرًا لكثرة عدد ملفات CSV، فيمكنك استخدام تقنيات البرمجة المتعددة لتسريع عملية الاستخراج، مثل تقسيم الملفات إلى عدة مجموعات ومعالجتها بشكل متزامن.

3. إعداد الإخطارات: يمكنك إعداد نظام ليقوم بإرسال إخطارات إليك في حالة حدوث أي مشكلة أثناء عملية الاستخراج، مثل عدم وجود الصف الذي تبحث عنه في ملف CSV معين.

4. الاحتفاظ بنسخة احتياطية: دائمًا ما يكون من الجيد الاحتفاظ بنسخة احتياطية من الملفات الأصلية والبيانات المستخرجة لضمان عدم فقدان البيانات في حالة حدوث أي مشكلة.

باستخدام هذه النصائح والتحسينات، يمكنك بناء نظام فعال لاستخراج البيانات من ملفات CSV متعددة وتحديث ملف جديد بانتظام بالقيم الجديدة.