Fils de André Petit, meunier, et de Céleste Dubois.
Il est ordonné prêtre à La Rochelle le 6 juin 1857 et est nommé le 1er juillet suivant, vicaire à Saint-Fort ; quelques mois plus tard, le 15 octobre 1857, il est nommé professeur à Montlieu. Le 1er septembre 1858, il est nommé vicaire à la cathédrale de La Rochelle et exerce les fonctions de protonotaire de l’évêché à partir de 1858. Aumônier des Bénédictines de Saint-Jean-d’Angély en novembre 1864, il devient en juillet 1867 chancelier de l’évêché et chanoine titulaire (3 juillet). Théologal du chapitre, il devient vicaire général le 15 septembre 1868. Il devient ensuite évêque au Puy-en-Velay le 16 avril 1887 et occupe le siège jusqu’au 18 mai 1894. A cette date, il devient archevêque de Besançon, siège qu’il occupe jusqu’à sa mort.
Plutôt modéré lors de la séparation des églises et de l’Etat, il favorise la création de l’Action catholique.