Jérôme Le Conte est diplômé de l'Ecole polytechnique et de l'Ecole nationale des Ponts et Chaussés. Il entame sa carrière en 1976 au sein de la Société auxiliaire d'entreprises (aujourd'hui Eiffage). Il y occupe pendant 14 ans des fonctions en Asie, en Afrique, aux Etats Unis et en Arabie Saoudite avant de prendre le poste de Secrétaire général du groupe en 1990. Deux ans plus tard, il est nommé Président de Waste Management France, où il reste 5 ans avant de monter, en 1997, sa propre entreprise Nirao, spécialisée en conseil en ingénierie environnementale.
Entré en 2006 au sein du groupe Veolia, Jérôme Le Conte est tout d'abord Directeur général France puis Directeur des opérations de Veolia Propreté. Il évoluera vers les fonctions de Président de la division propreté et de membre du Comité exécutif jusqu'en juillet 2013. Date à laquelle il rejoint le conseil de surveillance du groupe Saur.