Diplômé de l'ESSEC, Philippe Joubert a débuté sa carrière en tant que secrétaire général de la chambre de commerce française du Brésil en 1976. Deux ans plus tard, il devient le relais commercial au Brésil pour le Crédit lyonnais et assure également le développement de la banque aux Etats-Unis.
A partir de 1986, il rejoint le groupe Alstom où il est tout d'abord basé au Brésil et occupe des fonctions clés pour l'énergéticien. En 2000, il revient en France et prend la direction d'Alstom T&D puis d'Alstom Power avant d'être nommé directeur général délégué du groupe Alstom en 2011.
Il quitte le groupe en 2012 mais conserve une fonction de conseiller spécial du PDG sur les questions d'environnement et de développement durable. Philippe Joubert est Expert énergie et climat auprès du Conseil mondial des entreprises pour le développement durable (WBCSD). Il est également administrateur de Nexans (1) depuis mai 2014.