A la sortie de ses études, en 1973, Jean Rossi intègre la société Pradeau et Morin en tant que Conducteur de travaux. En 1978, il devient directeur d'exploitation puis Directeur général de la Société nancéienne d'entreprise générale (Sneg) à Nancy (groupe Caroni). Il rejoint Sobea qui deviendra par la suite Sogea en tant que directeur de bâtiment et des travaux publics (1983), directeur régional (1988), directeur chargé du nord de la France (1991) et directeur général adjoint (1996). Il devient Président de Sogea Construction en 2001.

Depuis janvier 2007, il est Président de Vinci Construction.