Одной из первых математических работ Ферма было восстановление двух утерянных книг Аполлония «О плоских местах».
Крупную заслугу Ферма перед наукой видят, обыкновенно, во введении им бесконечно малой величины в аналитическую геометрию, подобно тому, как это, несколько ранее, было сделано Кеплером в отношении геометрии древних. Он совершил этот важный шаг в своих относящихся к 1629 году работах о наибольших и наименьших величинах, — работах, открывших собою тот ряд исследований Ферма, который является одним из самых крупных звеньев в истории развития не только высшего анализа вообще, но и анализа бесконечно малых в частности.
В конце двадцатых годов Ферма открыл методы нахождения экстремумов и касательных, которые, с современной точки зрения, сводятся к отысканию производной. В 1636 году законченное изложение метода было передано Мерсенну и с ним могли познакомиться все желающие.
В 1637–1638 годах по поводу «Метода отыскания максимумов и минимумов» у Ферма возникла бурная полемика с Декартом. Последний не понял метода и подверг его резкой и несправедливой критике. В одном из писем Декарт утверждал даже, что метод Ферма «содержит в себе паралогизм». В июне 1638 года Ферма послал Мерсенну для пересылки Декарту новое, более подробное изложение своего метода. Письмо его сдержанно, но не без внутренней иронии. Он пишет: «Таким образом, обнаруживается, что либо я плохо объяснил, либо г. Декарт плохо понял моё латинское сочинение. Я всё же пошлю ему то, что уже написал, и он, несомненно, найдёт там вещи, которые помогут ему отказаться от мнения, будто я нашёл этот метод случайно и его подлинные основания мне неизвестны». Ферма ни разу не изменяет своему спокойному тону. Он чувствует своё глубокое превосходство как математика, поэтому не входит в мелочную полемику, а терпеливо старается растолковать свой метод, как это сделал бы учитель ученику.
До Ферма систематические методы вычисления площадей разработал итальянский учёный Кавальери. Но уже в 1642 году Ферма открыл метод вычисления площадей, ограниченных любыми «параболами» и любыми «гиперболами». Им было показано, что площадь неограниченной фигуры может быть конечной.
Ферма одним из первых занялся задачей спрямления кривых, т. е. вычислением длины их дуг. Он сумел свести эту задачу к вычислению некоторых площадей.
Таким образом, понятие «площади» у Ферма приобретало уже весьма абстрактный характер. К определению площадей сводились задачи на спрямление кривых, вычисление сложных площадей он сводил с помощью подстановок к вычислению более простых площадей. Оставался только шаг, чтобы перейти от площади к ещё более абстрактному понятию «интеграл».
