البرمجة

تحويل JSON إلى Parquet باستخدام Java

تحتاج إلى تحويل كائنات JSON إلى تنسيق Parquet باستخدام Java دون الاعتماد على تقنيات مثل Hive و Pig و Spark. هذا الطلب يتطلب استخدام مكتبات Java المخصصة لمعالجة بيانات JSON وتنسيقات ملفات Parquet. سأوضح لك كيفية القيام بذلك.

مقالات ذات صلة

أولاً، يجب عليك استخدام مكتبة لقراءة وكتابة بيانات JSON. مكتبة جاهزة مثل Jackson أو Gson يمكنها مساعدتك في ذلك. بعد ذلك، يمكنك استخدام مكتبة أخرى لتحويل البيانات المقروءة إلى تنسيق Parquet. مثلاً، يمكنك استخدام مكتبة Apache Parquet.

فيما يلي مثال بسيط يستخدم مكتبة Jackson لقراءة بيانات JSON ومكتبة Apache Parquet لكتابة البيانات إلى ملف Parquet باستخدام Java:

java
import com.fasterxml.jackson.databind.ObjectMapper;
import org.apache.parquet.hadoop.ParquetWriter;
import org.apache.parquet.hadoop.metadata.CompressionCodecName;
import org.apache.parquet.schema.MessageType;
import org.apache.parquet.schema.MessageTypeParser;
import org.apache.parquet.hadoop.ParquetFileWriter;

import java.io.File;
import java.io.IOException;

public class JsonToParquetConverter {

    public static void main(String[] args) throws IOException {
        // JSON input file path
        String jsonFilePath = "input.json";
        
        // Parquet output file path
        String parquetFilePath = "output.parquet";
        
        // Define Parquet schema
        String schemaString = "message schema { optional binary field1; optional int32 field2; }";
        MessageType schema = MessageTypeParser.parseMessageType(schemaString);

        // Create Parquet writer
        ParquetWriter writer = ParquetWriter.builder(new org.apache.hadoop.fs.Path(parquetFilePath))
                .withSchema(schema)
                .withConf(new org.apache.hadoop.conf.Configuration())
                .withCompressionCodec(CompressionCodecName.SNAPPY)
                .build();

        // Read JSON objects and write to Parquet
        ObjectMapper objectMapper = new ObjectMapper();
        // Read JSON file
        MyObject[] objects = objectMapper.readValue(new File(jsonFilePath), MyObject[].class);
        // Write to Parquet
        for (MyObject obj : objects) {
            writer.write(obj);
        }

        // Close Parquet writer
        writer.close();
    }

    // Define your custom class to map JSON objects
    public static class MyObject {
        private String field1;
        private int field2;

        public String getField1() {
            return field1;
        }

        public void setField1(String field1) {
            this.field1 = field1;
        }

        public int getField2() {
            return field2;
        }

        public void setField2(int field2) {
            this.field2 = field2;
        }
    }
}


تأكد من استبدال “input.json” بمسار ملف JSON الفعلي الذي ترغب في قراءته، و”output.parquet” بالمسار الذي تريد كتابة ملف Parquet إليه.

		

	


	


		

	


هذا المثال يستخدم مكتبة Jackson لقراءة بيانات JSON ومكتبة Apache Parquet لكتابة البيانات إلى ملف Parquet بدون الحاجة إلى Spark أو Hive أو Pig. يمكنك تخصيص الشيفرة حسب احتياجاتك وتعديل الـ schema وفقًا لبياناتك الفعلية.

		

	


	


		

	




المزيد من المعلومات



		

	


	


		

	






بالطبع، سأكمل المقال بشرح أكثر تفصيلاً للخطوات المذكورة في الكود وبعض النصائح الإضافية.


أولاً، دعني أشرح الخطوات الرئيسية في الكود:


    

  1. 

    تحديد مسار ملف JSON وملف Parquet: يجب عليك تحديد مسار الملف JSON الذي ترغب في قراءته ومسار الملف Parquet الذي ترغب في كتابة البيانات إليه.
    

    2. 

  2. 

    تحديد بنية Parquet Schema: يتعين عليك تحديد بنية المخطط (schema) التي سيتم استخدامها في تنسيق Parquet. في المثال، تم استخدام مخطط بسيط يحتوي على حقول field1 و field2، ويمكنك تخصيصها وفقاً لبياناتك الفعلية.
    

    3. 

  3. 

    إنشاء كاتب Parquet: يتم إنشاء كائن كاتب Parquet باستخدام مكتبة Apache Parquet. يتم تحديد معلمات مثل المسار للملف Parquet ومخطط Parquet ومعلمات الضغط.
    
		
    
	


	
    

		
    
	
    

    4. 

  4. 

    قراءة البيانات من ملف JSON: يتم استخدام مكتبة Jackson لقراءة بيانات JSON من الملف المحدد وتحويلها إلى كائنات Java.
    

    5. 

  5. 

    كتابة البيانات إلى ملف Parquet: يتم كتابة البيانات المقروءة من ملف JSON إلى ملف Parquet باستخدام الكاتب المنشأ في الخطوة السابقة.
    

    6. 

  6. 

    إغلاق الكاتب: في النهاية، يجب عليك تأكيد إغلاق الكاتب للتأكد من حفظ البيانات بشكل صحيح وإفراغ أي موارد مستخدمة.
    

    7. 



الآن، دعني أضيف بعض النصائح الإضافية:


    

  • 

    تخصيص الـ schema: تأكد من تحديد مخطط Parquet بطريقة تتوافق مع بياناتك الفعلية. يمكنك تعريف أنواع البيانات والحقول المطلوبة بناءً على احتياجات تطبيقك.
    

    • 

  • 

    إدارة الذاكرة والأداء: عند تحويل بيانات كبيرة، تأكد من إدارة الذاكرة بشكل صحيح لتجنب حدوث مشاكل أداء. يمكنك استخدام تقنيات مثل القراءة الفعلية للبيانات وكتابة التشغيل المتوازية لتحسين الأداء.
    

    • 

  • 

    التعامل مع بيانات معقدة: إذا كانت بياناتك JSON تحتوي على هياكل معقدة، يمكنك استخدام مكتبات مثل Jackson لتحويل البيانات إلى كائنات Java معقدة قبل كتابتها إلى Parquet.
    

    • 

  • 

    التحقق من البيانات الصادرة: بعد كتابة البيانات إلى ملف Parquet، تأكد من التحقق من صحة البيانات باستخدام أدوات تحليل بيانات Parquet.
    

    • 



بهذا، يجب أن تكون قادرًا الآن على تحويل بيانات JSON إلى تنسيق Parquet باستخدام Java دون الحاجة إلى تقنيات مثل Spark أو Hive. استخدم الشيفرة المذكورة كنقطة انطلاق وقم بتخصيصها بما يتناسب مع احتياجات مشروعك ومتطلبات البيانات الخاصة بك.





			

		

	


	


		

	
 الوسوم
     

		

				

			

				

		

					

		


		

		

		

		
	

	

		

	


	


		

	

	


		

			

			
			

			

	

				


					

						
مقالات ذات صلة

					


					


					
							


								
			
			

				

					
				

			

		
								
تسلسل LocalDate باستخدام JAXB في جافا


								
16/02/2024
							


						
							


								
			
			

				

					
				

			

		
								
تقنيات الابتكار في عالم التكنولوجيا المتقدمة


								
26/01/2024
							


						
							


								
			
			

				

					
				

			

		
								
تحقيق تأثير الدوران باستخدام jQuery و CSS في تطوير الويب


								
23/02/2024
							


						
							


								
			
			

				

					
				

			

		
								
إضافة NotifyIcon لتطبيق WPF في Visual Studio 2015


								
09/03/2024
							


						
					

				


			

		

	


	


		

	

	


	



	

	
	
	
					

						

					

				

		

	


	


		

	






		

		
		
			
			زر الذهاب إلى الأعلى
		
	
		

		
	

	
	








		
				
						

				

				
			









				


					

						


																
										إغلاق
									
									
							

							
أنت تستخدم إضافة Adblock


							

								يرجى تعطيل مانع الإعلانات حيث أن موقعنا غير مزعج ولا بأس من عرض الأعلانات لك فهي تعتبر كمصدر دخل لنا و دعم مقدم منك لنا لنستمر في تقديم المحتوى المناسب و المفيد لك فلا تبخل بدعمنا عزيزي الزائر