XVII — XVIII века — третий период развития математической науки. Начало века было ознаменовано выдающимися математическими исследованиями Рене Декарта. В своих трудах Декарт исправляет ошибочные представления античных математиков и вновь возвращает числу алгебраическое понимание взамен геометрического. К тому же Декарт показывает новый способ перевода геометрических предложений на алгебраический язык. Это осуществлялось с помощью системы координат, которая впоследствии стала носить имя своего создателя. Благодаря декартовой системе координат эффективность математических исследований становится на порядок выше. Таким образом, появилась аналитическая геометрия.
Кроме того, именно Рене Декарту принадлежит заслуга введения нового математического понятия переменной величины. По словам Ф. Энгельса, это стало поворотным моментом в математике, кардинально изменившим направление математических исследований. Теперь в математику вошло понятие движение, доселе не изучавшееся.
Изменение направления математических исследований от постоянных величин к переменным был обусловлен прежде всего новыми запросами практики XVII в. Переход от изучения постоянных величин к исследованию зависимостей между переменными величинами, позволили вступить на новую ступень науки — к математическому описанию движения и других сложных абстрактных процессов. поэтому третий период развития математики стали называть периодом математики переменных величин.
Выдающимся достижением рассматриваемого периода в становлении математической науки явилось введение нового обобщенного понятия функции. Введенное в конце XVII в. немецким математиком и философом Г. В. Лейбницем, понятие функции воплотило в себе общефилософскую идею о всеобщей взаимосвязи явлений материального мира.
Понятия переменной и функции есть не что иное, как абстракции конкретных переменных величин таких, как координата, скорость, ускорение и тому подобные, и конкретных зависимостей между ними, к примеру, закон свободного падения. Результатом углубленного изучения общих свойств зависимостей между переменными величинами стало создание математического анализа. XVIII век по праву называют веком анализа в математике. Став главным средством развития естественных наук, математический анализ прогрессировал и сам, за счет возникновения все более сложных задач. Благодаря обмену идеями, происходившему в процессе взаимодействия, была сформирована математическая физика.
В области геометрии и механики конца XVII в. было также сделано немало важных открытий. Выдающийся английский физик и математик Исаак Ньютон создал основу дифференциального и интегрального исчисления. Это открытие Ньютон совершил одновременно с Г.В. Лейбницем. Вместе они значительно расширили и углубили аппарат математического анализа, который к этому моменту стал главным средством решения задач механики и гидродинамики, астрономии и оптики. Анализ и механика развивались в тесном взаимодействии, однако впервые эти две области научного знания объединил Эйлер. Именно он убрал из ньютоновской механики старые конструкции и положил в основу динамики аналитический фундамент (1736 г.). Теперь механика стала прикладным разделом анализа.
Значительные успехи в этой области были достигнуты в XVIII-XIX столетиях. К этому времени математики научились составлять и решать дифференциальные уравнения и уравнения в частных производных, в которых соединялись многие вопросы математической физики. Так было создано вариационное исчисление, которое помогало решать невозможные для первоначальных методов математического анализа задачи. Таким образом, это стало главным методом познания природы. Ценный вклад в развитие этой области внесли работы члена Петербургской Академии наук Л. Эйлера.
На рубеже XVIII — XIXвв в свет выходят многочисленные специализированные математические журналы. Это прежде всего обусловлено все возрастающим интересом к истории математической науки. Издается двухтомная «История математики» Монтюкла (посмертно переизданная и дополненная до 4 томов). Значительно увеличивается количество научно-популярной литературы.
Надо сказать, что в это же время возникает и развивается теория вероятностей. Первый работы в этом направлении появились в XVII в. В развитие этой идеи внесли неоценимый вклад русские математики XIX в. П. Л. Чебышев, А. А. Марков, А. М. Ляпунов и др.