Ancien élève de l'ENA (1981), Jean-François Rocchi débute sa carrière au ministère de l'intérieur, avant d'être affecté en 1985 au Commissariat général du Plan en qualité de rapporteur. De 1985 à 1990, il est détaché auprès de la Caisse des dépôts, successivement comme adjoint au sous-directeur des dépôts et consignations, puis chef du service de la production bancaire spécialisée. Il est parallèlement président de la Caisse de modernisation industrielle (CAMI), établissement gestionnaire des prêts alimentés par la centralisation des fonds du CODEVI. De 1991 à 1993, il sert à l'Assemblée nationale. Promu inspecteur général de l'administration, il dirige ensuite le cabinet de M. André Rossinot, ministre de la fonction publique, entre 1993 et 1995.

S'agissant des domaines de compétence du BRGM, Jean-François Rocchi travaille depuis une quinzaine d'années dans des activités tournées vers les mines ou l'après-mine, ainsi que vers les problématiques territoriales. Il a été pendant sept ans, de 1995 à 2002, directeur en charge de la reconversion des régions minières au sein du groupe Charbonnages de France (CDF), étant parallèlement administrateur de CDF et des Houillères de bassin. En 2002, M. Rocchi est nommé directeur du cabinet de M. Jean-Paul Delevoye, ministre de la fonction publique, de la réforme de l'Etat et de l'aménagement du territoire, qu'il suivra en qualité de conseiller auprès du Médiateur de la République. A partir de 2004, il devient président du directoire, puis liquidateur de l'Entreprise Minière et Chimique, et président du conseil de surveillance des Mines de potasse d'Alsace. Il a également présidé, de 2004 à 2009, un programme de l'OCDE consacré aux sujets du développement local (programme LEED).

Il est Chevalier de la Légion d'Honneur et Officier de l'Ordre du Mérite.