دخل ميرتس الحياة السياسية مبكرا، إذ انضم إلى حزب الاتحاد الديمقراطي المسيحي عام 1972 وهو لا يزال في المدرسة الثانوية، وانخرط بنشاط في اتحاد الشباب التابع للحزب، وشغل منصب رئيس الفرع المحلي فترة من الزمن.
وفي عام 1989، انتخب نائبا في
البرلمان الأوروبي ب
بروكسل ممثلا عن منطقة جنوب وستفاليا الألمانية، وظل في منصبه 5 سنوات.
ترشح ميرتس عام 1994 للحصول على مقعد في البرلمان الألماني (
البوندستاغ) ممثلا عن دائرة هوخشاورلاند، ونجح في الاحتفاظ بمقعده مرات عدة.
وفي عام 1998، تولى منصب نائب رئيس الكتلة البرلمانية لحزبي الاتحاد الديمقراطي المسيحي والاتحاد الاجتماعي المسيحي، وترأسها في ما بعد خلفا ل
فولفغانغ شويبله الذي استقال من منصبه.
في عام 2001، أبدى ميرتس استياءه من مسألة الشذوذ الجنسي، وربط بينها وبين الاستغلال الجنسي للأطفال، وتعرض بسبب ذلك لانتقادات حادة وصفها بأنها "خبيثة".
بعد انتخابات البرلمان عام 2002، قررت زعيمة الحزب الاتحاد الديمقراطي المسيحي آنذاك
أنجيلا ميركل تولي رئاسة الكتلة البرلمانية، وأصبح هو نائبا لها حتى عام 2004.
وفي عام 2009، قرر ميرتس الابتعاد عن العمل السياسي والتفرغ لاكتساب خبرة مهنية جديدة، فعمل في العديد من الشركات الألمانية والدولية قبل أن يترشح مجددا عام 2021 لعضوية البرلمان الألماني.
عاد ميرتس إلى البوندستاغ ممثلا عن دائرة هوخشاورلاند، وفي فبراير/شباط 2022 تولى رئاسة الكتلة البرلمانية لحزبي الاتحاد الديمقراطي المسيحي والاتحاد الاجتماعي المسيحي، كما أصبح رئيسا لحزبه وزعيما للمعارضة في البرلمان.