في Problem مشهورة اسمها AI Control Problem بتناقش مشكلة ازاي إنك لما تعمل Intelligent Agent زي مثلاً AI Robot تضمن إنه مش هيتصرف من دماغه أو هتفقد السيطرة عليه.

تكمن مشكلة التحكم في الذكاء الاصطناعي ، في مجال الذكاء الاصطناعي والفلسفة ، في مسألة كيفية بناء وكيل فائق الذكاء يساعد مبدعيه ، ويتجنب عن غير قصد بناء ذكاء خارق يمكن أن يضر مبدعيه. فكرة أن البشرية يجب أن تحل مشكلة التحكم قبل أن يتم إنشاء أي ذكاء خارق تحفز دراسة هذه المشكلة ، لأن الذكاء الخارق سيء التصميم قد يقرر بشكل عقلاني التحكم في بيئته ويرفض السماح لمبدعيه بتعديله بعد الإطلاق.

في فيديو كان معمول للموضوع ده بيتكلم عن حاجة اسمها Stop Button Problem أو بمعنى أصح ازاي تحط في ال Robot بتاعك Stop Button أو حاجة بحيث إن أول ما تحس إنه خرج عن سيطرتك تدوس على ال Button ده و توقفه.

مشكلة بسيطة صح؟ هو زرار بيخلي ال Robot يـ Lose ال Power بتاعته ولا من شاف و لا من دري.

للأسف الموضوع مش بالبساطة دي.

اللي درس AI هيعرف إن في حاجة اسمها Utility Function ال Robot بيتصرف على أساسها. ال Utility Function دي عبارة عن Function عادية فيها حبة متغيرات. اللي بيعمله ال Robot انه بيحاول يعوض عن المتغيرات دي بقيم من ال Environment بتاعته و بيشوف قيمة ال Utility Function هتطلع كام بحيث إنه يحاول يوصلها لأفضل قيمة ممكنة و اللي معناها إنه قرب يحقق ال Goal بتاعه. و بالتالي ال Robot بيعمل أي حاجة عشان يقدر يخلي قيمتها أفضل ما يمكن.

الفيديو بيقولك تخيل لو عندك Robot وظيفته إنه يعملك شاي. و روحت مشغل ال Robot ده. ال Robot بدأ يتحرك في ال Shortest Path عشان يعملك كوباية الشاي اللذيذة و صدفت إن كان في طفل صغير قدام ال Robot. أنت طبعاً قمت تجري على ال Robot عشان تطفي الزرار بتاعه قبل ما يدوس الطفل أو يشيله يرميه. تفتكر ايه اللي هيحصل؟

اللي هيحصل إن ال Robot هيمنعك إنك تدوس الزرار لإنه الهدف بتاعه إنه يعمل الشاي و ال Utility Function بتاعته قيمتها بتبقى افضل كل اما يتجه في ناحية إنه يعملك الشاي و بياخد Reward على ده و هو عارف إنك لو دوست على ال Button مش هياخد ال Reward أو القيم اللي تخلي ال Utility Function عالية. فاللي هيحصل إنه هيدوس الطفل و أنت مش هتعرف تمنعه.

طب ما تيجي نفكر شوية؟ ما احنا ممكن نخلي ال Reward اللي بياخدها ال Robot لو اتداس على الزرار هي هي نفس ال Reward لو عمل الشاي و بالتالي مش هيمنعك تدوس عليه لإنه بيخلي ال Utility Function بتاعته عالية. تفتكر هيحصل ايه؟

اللي هيحصل بالظبط كالتالي. أول ما تيجي تشغل ال Robot هيدوس على ال Button بنفسه و يوقف نفسه لإن ببساطة هو اخد ال Reward اللي تخليه يعلي ال Utility Function بسهولة و مش محتاج يروح يعمل الشاي.

في الفيديو اقترح حلول تاني زي إنك مثلاً تحط ال Button في مكان هو ميعرفش يوصله و غيرها من الحلول بس كل واحدة فيهم ليها عيوبها أو لسا مفيش حاجة تثبت إنها هتشتغل مظبوط.