Pierre Toulhoat est diplômé de l'Ecole normale supérieure. Il est également docteur d'Etat en sciences de la terre, avec une spécialité en géochimie et pétrologie. En 1981, il est nommé chef de projets déchets nucléaires à haute activité vie longue au Commissariat à l'énergie atomique (CEA). Poste qu'il occupe jusqu'en 2002. De 2005 à 2012, il rejoint le Centre national de la recherche scientifique (CNRS) en tant que directeur d'unité. Il est nommé en parallèle directeur scientifique de l'Institut national de l'environnement industriel et des risques (Ineris) jusqu'en 2016.
Depuis 2010, Pierre Toulhoat est membre de l'Académie des sciences et depuis 2015, il préside le conseil scientifique de l'Institut de radioprotection et de sûreté nucléaire (IRSN).