الهندسة الرياضية هي فرع من فروع الرياضيات الذي يستخدم الأساليب الرياضية لتحليل ودراسة المشاكل الهندسية المختلفة، وتصميم وتطوير النماذج الرياضية والهندسية لهذه الأنظمة. وتستخدم الهندسة الرياضية الأساليب الرياضية والتحليلية والحسابية لتحليل المعادلات والمتغيرات الهندسية، وتستخدم برامج الحاسوب لإنشاء وتصميم نماذج هندسية وثلاثية الأبعاد.
وتشمل الأدوات التي يستخدمها المهندس الرياضي مجموعة واسعة من الرياضيات، مثل الجبر الخطي والجبر النهائي، والتفاضل والتكامل، ونظرية المجموعات، والإحصاء، والبرمجة الخطية، ونظرية الأعداد. كما يمكن استخدام برامج الحاسوب المتخصصة مثل برنامج MATLAB, وسيمولنك، وبرامج ديناميكية، وغيرها من الأدوات المتقدمة التي يمكن استخدامها في التحليل الرياضي والرسوم البيانية. وتستخدم أيضًا الهندسة الرياضية النظرية المتعلقة بالهندسة الفضائية والإحصاءات الهندسية.