Changement de fonction

 Je me tourne vers vous pour éventuellement trouver une réponse plus clair que ce que j'ai pu trouver jusqu'à présent.
Je travail en usine, mon employeur m'a affecté a une mission d'approvisionneur. Hors pour des raisons d'entente avec le responsable de ce secteur (qui m'en fait voir de toute les couleurs, me convoque pour tout et son contraire) je souhaiterais ne plus exercer cette mission et retourner dans le secteur initial qui est stipulé dans mon contrat initiale. 
Lorsque je fais cette demande a l'oral on me répond "Non tant que tu n'as pas résolu ce problème d'entente avec le responsable"

D'après  vous quelle seraient mes possibilités dans ce cas pour refuser d'exercer cette mission sans pour autant risquer une sanction?
Il faut savoir que depuis la signature de mon CDI je n'ai pas signé d'avenant au contrat, j'ai par contre été augmenté d'indice de qualification et des formations CACES m'ont été payé par mon employeur.
Je vous laisse un extrait de contrat de travail ci dessous, je pense que ça peut vous aider à me répondre. Certain éléments du contrat seront masqué pour des raisons évidentes de maintient de ma vie privé.

Article 1 - Engagement et Fonction
Monsieur X qui se déclare libre de tout engagement, est engagé en qualité d'Agent de production, a l'indice de qualification AP22.

Article 3 - Missions
A la date d'effet du présent contrat Monsieur X sera affecté a la section Tapisserie et devra exercer les missions suivantes :

-Lecture de fiches de travail et documents techniques.
-Assemblage et garnissage de l'ensemble des sièges.
-Conditionnement des pièces produite selon les procédures en vigueur
-Mise sur le convoyeur
-Declaration des productions effectuées.
-Respect des procédures qualité lors des travaux de production.

La liste n'est pas exhaustive, il pourra être demander à Monsieur X d'effectuer des tâches définies postérieurement au présent contrat de travail en lien avec le processus de Tapisserie, sans que celà ne constitue une modification de son contrat de travail.

En cas de nécessité de service, Monsieur X pourra être affectée dans d'autres secteurs de production et notamment le secteur du montage, a la demande de l'entreprise, sans que cela ne constitue une modification du contrat de travail.



Je remercie  par avance les personnes qui m'aideront à résoudre, ou pas mon problème.