Diplômé de l'Ecole d'architecture de Clermont-Ferrand, Pierre Jarlier a exercé en tant qu'architecte libéral pendant 15 ans. Il entre en politique à partir de 1992. Il est ainsi Maire de la ville de Saint-Flour (15) depuis 1993, Conseiller général du canton de Saint-Flour Sud de 1992 à 2008, Vice-président du Conseil général du Cantal en charge des questions d'environnement puis des affaires européennes de 1995 à 2008.
En 1998, il est élu Sénateur du Cantal, poste qu'il occupe toujours. A l'occasion de sa réélection en 2008, il quitte ses fonctions du Conseil général, en conformité avec la règle du cumul des mandats.
En parallèle de ces fonctions, Pierre Jarlier est actif, entre autres, au sein de l'Association des maires de France, de l'Association nationale des élus de la montagne, du Conseil national de l'aménagement du territoire, du Conseil national de la montagne et du Comité de bassin Adour-Garonne.