Dans ce cadre, il prend part à l'éclosion et au développement du sport en France dès la fin du XIXe siècle avant d'être le rénovateur des Jeux olympiques de l'ère moderne en 1894 et de fonder le Comité international olympique (CIO), dont il est le président de 1896 à 1925. Durant cette période, il dessine les anneaux olympiques et installe le siège du CIO à Lausanne en 1915 où il crée un musée et une bibliothèque. Il milite également pour la création des Jeux olympiques d'hiver dont la première édition a lieu à Chamonix en 1924.
Son intérêt pour le domaine scolaire le met en concurrence avec les tenants de la gymnastique et de l'éducation physique, plus proche des préoccupations de la IIIe République.