Jean-Yves Ollier est ancien élève de l'Ecole normale supérieure (1987) et de l'Ecole nationale d'administration (1995). Diplômé de Sciences Po, il est également titulaire d'un DEA en histoire.

A sa sortie de l'ENA, Jean-Yves Ollier intègre le Conseil d'Etat où il exerce les fonctions de rapporteur au sein des formations de jugement de 1995 à 1997, puis de secrétaire général adjoint chargé de la gestion du Conseil d'Etat jusqu'en 1999. Parallèlement à ce second poste, il est secrétaire général de la Commission pour la transparence financière de la vie politique, autorité administrative indépendante.

En 1999, Jean-Yves Ollier est nommé à la représentation permanente de la France auprès de l'Union européenne. Il occupe le poste d'adjoint au chef du service des affaires économiques et commerciales jusqu'en 2001 pendant une période marquée par la Présidence française et par le lancement du dernier cycle de négociations de l'OMC. Il est chargé du suivi des questions de politique commerciale, des relations transatlantiques et des relations avec le secrétariat général de la charte de l'énergie.

Il rejoint en 2001 la direction de l'audit d'AXA pour y mener des missions d'audit stratégique dans l'ensemble des champs d'activité et des implantations géographiques du groupe jusqu'en 2004.

Avocat au barreau de Paris depuis 2004, spécialisé en droit public et droit de l'environnement, il était depuis 2007 associé au sein du cabinet international Allen & Overy.

Installée le 24 mars 2000, la Commission de régulation de l'énergie (CRE) est une autorité administrative indépendante. Elle concourt, au bénéfice des consommateurs finals, au bon fonctionnement des marchés de l'électricité et du gaz naturel. Elle veille à l'absence de toute discrimination, subvention croisée ou entrave à la concurrence.