Jean-Yves Caullet est diplômé de l'Institut national agronomique de Paris-Grignon et de l'Ecole nationale du génie rural et des eaux et des forêts. Il entame sa carrière d'ingénieur du génie rural, des eaux et des forêts en 1980 à la direction départementale de l'Agriculture du Bas-Rhin à Strasbourg. Après avoir occupé différentes fonctions en préfectures et au sein du gouvernement, il est notamment élu maire (PS) d'Avallon (Yonne) en 2001.
En 2004, il est élu au Conseil régional de Bourgogne puis devient député de l'Yonne en 2012. Un an plus tard, il est nommé président du conseil d'administration de l'Office national des forêts. Jean-Yves Caullet est également président de l'Association départementale des communes forestières de l'Yonne et administrateur de l'Ademe.