Travail dominical par dérogation

 Bonjour, 

J'ai une question relative à ma CCN ( sport) concernant le travail dominical.

Voici un extrait de la dérogation sur laquelle s'appuie mon employeur : 

"Lorsque les rythmes des activités sportives l'exigent et conformément aux dispositions du code du travail, les entreprises ou établissements relevant de la présente convention bénéficient d'une dérogation à la règle du repos dominical, pour les types d'emplois qui sont liés directement à la pratique, l'animation, l'enseignement ou l'encadrement d'activités sportives." 

J'exerce la fonction de Téléopérateur ( ni pratiquant ,ni animateur, ni enseignant, ni encadrant).

Il y a une mention dans mon contrat qui stipule que j'accepte expressément de travailler le dimanche. 

L'employeur soutient que la mention sur le contrat suffit largement à me faire travailler le dimanche , sans contrepartie.

J'ai répondu par écrit que je refusais, en rappellant la CCN.

Ma question est : ai-je commis une faute ou sera ce le cas si je ne me présente pas à mon poste ? Jugerez-vous utile une intervention de l'inspection du travail ?

Merci par avance,