Вскоре у франков появился новый опасный противник. В 711—713 гг. арабы (в Европе их называли маврами) завоевали большую часть Пиренейского полуострова, включив её в состав огромного Арабского халифата. Они сделали попытку покорить и Галлию. Воспользовавшись призывом гасконского вождя Эудеса, предложившего им союз против Карла, арабы вторглись в Галлию. В битве на реке Дардонь они разбили самого Эудеса, взяли Пуатье и почти все города по рекам Роне и Саону. Стремительное продвижение арабской конницы замедлилось только возле города Санса. Не сумев взять его, арабы двинулись к Туру и осадили город.
Карл воспользовался этим промедлением, решив навязать арабам решающее сражение. По сообщениям европейских хронистов, в распоряжении Карла было всего 30 тыс. человек, в том числе и конные воины-бенефициарии. В 732 г. недалеко от Пуатье началась упорная и кровопролитная битва. Карлу противостояла армия арабского вождя Абдаррахмана, насчитывавшая, по мнению тех же хронистов, 400 тыс. воинов, что, впрочем, маловероятно. По словам хрониста, франкские воины стояли на поле боя как стена, неколебимые подобно скале. В ожесточённом сражении удача была на стороне франков. Большинство арабских воинов вместе со своим предводителем Абдаррахманом погибли. Эта победа была настолько важна для христианской Европы, что за неё Карл получил от Католической церкви почётное прозвище Мартелл (лат. «молот», т. е. орудие, сокрушающее неверных).
Остатки разгромленного арабского войска собрались на галльской территории у предгорий Пиренеев. Карл собирался нанести им здесь последний удар. Но ему пришлось уйти на север из-за начавшегося восстания фризов, бургундов и аквитанцев. Подавив это восстание, он осадил Нарбонну — единственный город в Галлии, остававшийся ещё во власти арабов. Из Испании арабам были присланы подкрепления на кораблях, приставших к берегу в устье реки Берры. Карл Мартелл оставил возле Нарбоины небольшой отряд, необходимый для ведения осадных работ, а сам напал на высадившихся на берег арабов. Почти все арабские воины были перебиты, их суда достались франкам.
В дальнейшем (738—741 гг.) майордом заставил арабов уйти обратно в Испанию. Внутренняя борьба в халифате сделала невозможными их новые походы за Пиренеи. Карл вновь присоединил Аквитанию к Франкскому государству, взяв крупные и богатые города Авиньон и Марсель. Он покорил также Прованс и большую часть Септимании.
Усиление власти Карла Мартелла способствовало дальнейшему сближению между Франкским государством и папским Римом, начавшемуся ещё при короле Хлодвиге. Авторитет Карла среди франков ещё более возрос. В последние годы жизни он не считал даже нужным возводить на престол короля и правил во Франкском королевстве единовластно.