Fils de Victor Isle, propriétaire et maire de Meschers, et de Luce Victoire Baret de Rouvray.
Né dans une famille aristocratique peu fortunée, il effectue ses études au petit séminaire de Montlieu puis à l’Institution de Pons avant d’être ordonné prêtre à La Rochelle le 21 décembre 1850. Il est nommé professeur à la même Institution de Pons puis directeur de celle de Charente le 14 février 1852. Il sera ensuite curé de Jazennes le 10 septembre 1857, de Brisambourg le 16 mai 1865, de Saint-Porchaire le 12 août 1868 et enfin curé doyen de Saujon le 3 avril 1874 où il reste jusqu’à sa mort. Il avait été fait chanoine honoraire le 12 mars 1878.