déplacement des heures de travaille les semaines où il y a des jours fériés

Bonjour,
Dans mon entreprise nous dépendons de la convention collective du sport. Les jours fériés sont donc travaillés.
Dans notre contrat de travail il est précisé que notre planning n'est pas fixe et peut être modifié en fonction des besoins de l'entreprise.
Toutefois ceux ci sont moindres en personnel que les jours classiques.
Nous avons donc une partie du staff au travail les jours fériés, le planning des autres employés est modifié de tel manière que les heures qui auraient du être effectuées le jour férié le seront un autre jour. 
En outre certaines semaines, ces heures ne sont pas réafactées un autre jour car il n'y a pas de besoins en personnel, mais déclarées en récupération de nos heures supplémentaires.
Je donne un exemple concret pour plus de clareté : le lundi en général je travaille, sauf que le 8 mai mon employeur n'a pas besoin de moi, il me décale donc les heures du lundi au mercredi. Sauf que le mercredi il n'a pas non plus besoin de moi (je ne travaille que rarement le mercredi). Du coup il me demande de poser 8 heures de récup pour compenser le fait de ne travailler que 27h la semaine du 8 mai. 
A t'il le droit de faire cela ? 
En vous remerciant pour votre réponse !