Né en 1957 à Roubaix, Jean-Yves Caullet fait ses études secondaires et ses classes préparatoires au Lycée Corneille de Rouen. Il intègre l’Institut national agronomique de Paris-Grignon en 1976, puis l’Ecole nationale du génie rural et des eaux et des forêts.
Jean-Yves Caullet débute sa carrière d’ingénieur du génie rural, des eaux et des forêts en 1980 à la direction départementale de l’Agriculture du Bas-Rhin à Strasbourg. En 1983, il rejoint le secrétariat d’Etat aux DOM-TOM en tant que chargé des Affaires agricoles, puis intègre le cabinet du ministre Georges Lemoine jusqu’en 1986.
En 1986, Jean-Yves Caullet entre dans la préfectorale en qualité de directeur de cabinet du préfet d’Eure-et-Loir, puis sous-préfet d’arrondissement à Saint-Claude (Jura) et à Avallon (Yonne).
En 1991, Jean-Yves Caullet rejoint le cabinet du président de la République, François Mitterrand, en tant que conseiller technique en charge des questions intérieures et de l’Andorre. Il participe notamment à l’élaboration de la Constitution de l’Andorre adoptée en 1993. Il deviendra le représentant personnel du co-prince d’Andorre, président de la République française, jusqu’en 1996.
En 1994, Jean-Yves Caullet est nommé préfet à 37 ans.
Il entre à la RATP en 1996 pour diriger l’unité opérationnelle de sécurité des réseaux bus, métro et RER.
De 1999 à 2002, il devient député de l’Yonne en remplacement d’Henri Nallet chargé d’une mission par le Gouvernement.
En 2001, Jean-Yves Caullet est élu maire d'Avallon.
En 2004, il est élu au Conseil régional de Bourgogne sur la liste conduite par François Patriat, dont il devient vice-président en 2006, chargé de la culture puis du développement économique.
En 2012, Jean-Yves Caullet est élu député de l’Yonne.
Le 20 mars 2013, par décret du président de la République pris en Conseil des ministres, Jean-Yves Caullet est nommé président du conseil d’administration de l’Office national des forêts.
Le 21 septembre 2016, à la suite du Conseil des ministres, il est nommé président du conseil d’administration de l’Office national des forêts, pour un second mandat.
Jean-Yves Caullet est également président de l’Association départementale des communes forestières de l’Yonne et administrateur de l’Ademe.