عند استخدام محسن الAdam في TensorFlow، يتم تحديد معدل التعلم (learning rate) عن طريق المعادلات الداخلية لهذا المحسن ولا يتم تعيينه مباشرة كمعدل ثابت. عند استخدام الAdam، يتم تحديث معدل التعلم بشكل ديناميكي لكل متغير (variable) في شبكتك العصبية بناءً على معادلات الAdam. الفكرة وراء ذلك هي أنه في بداية التدريب، يكون معدل التعلم عاليًا للسماح بتحركات كبيرة نحو الحلول المناسبة، ومع تقدم التدريب، يتم تقليل معدل التعلم تدريجيًا للسماح بتحسين أكثر دقة واستقرارًا.
بالنسبة لسؤالك حول كيفية تشغيل المحسن الAdam دون تقليل معدل التعلم، يمكنك تحديد معدل التعلم بشكل يدوي في كل مرة تقوم فيها بتشغيل الدورة (epoch) أو الدفعة (batch). يمكنك تحديد معدل التعلم كمتغير عادي وتمرير قيمته إلى دالة المحسن AdamOptimizer بدلاً من تحديده كمعدل ثابت في المعادلة. وبذلك، سيتم استخدام القيمة التي حددتها بدلاً من استخدام القيمة الافتراضية التي يحسبها المحسن.
بالنسبة لاقتراحك حول محسن RMSProp، فهو يعتبر محسنًا آخر يستخدم نفس الفكرة العامة لتحديث معدل التعلم تلقائيًا، لكن له فرق في كيفية تحديثه مقارنة بالAdam. يمكنك استخدام أي من المحسنين وضبط الهيبيرباراميترز (hyperparameters) لديهما بحيث يعملان بشكل مماثل تقريبًا. ومن المهم أن تتجرب وتقارن بين الاثنين لمعرفة أيهما يناسب بيئة التدريب الخاصة بك بشكل أفضل.
المزيد من المعلومات
محسن الAdam (Adam Optimizer) هو أحد الخوارزميات الشهيرة المستخدمة في تحسين النماذج العصبية في العمق (Deep Learning)، وهو مستوحى من خوارزميتي تحديث المعدل التعلم AdaGrad و RMSProp. يتميز الAdam بالقدرة على التكيف معدل التعلم تلقائيًا لكل متغير في النموذج بناءً على تقدير آخذ للمتغير الأول (المتوسط) والثاني (الانحراف المعياري) للفترة الزمنية السابقة.
يعتمد تحديث معدل التعلم في الAdam على معادلتين رئيسيتين: المعادلة الأولى تحسب متوسط الفائدة (mean) للفترة الزمنية السابقة من المشتقات الجزئية للفقد (gradients)، بينما المعادلة الثانية تحسب انحراف المعدل المربع (squared mean) لهذه المشتقات. بناءً على هذين القيمتين، يتم تحديث معدل التعلم بطريقة توازن بين التعلم السريع في بداية التدريب والاستقرار فيما بعد.
بالنسبة لاقتراحك حول محسن RMSProp، فهو يعتمد أيضًا على فكرة تحديث معدل التعلم تلقائيًا ولكن بطريقة مختلفة. يتم في RMSProp استخدام انحراف المعدل المربع الحالي لتقدير معدل التعلم، وهذا يجعله يتصرف بشكل مختلف قليلاً عن الAdam في بعض الحالات.
باختصار، يمكنك استخدام أي من الAdam أو RMSProp في تحسين نماذجك العصبية، ويمكن تجربة الاثنين لمعرفة أيهما يعمل بشكل أفضل مع بياناتك ونموذجك المحدد.
