Annulation de congés payés post demission, par salarié

J'ai une question concernant les congés payés lors d'une demission.
J'ai demissionné et donner mon preavis de 3 mois (la fin de mon contrat est donc bien définie dans 3 mois). Cependant, j'ai posé des congés d'un mois (congés payés que je n'avais pas posé auparavant, il me restait donc beaucoup de jours).
Ces congés ont été acceptés, mais je me rend compte qu'il ne restera pas assez de temps pour finir ma mission et souhaite annuler une partie de ces congés.

Mon employeur s'y oppose et veut me forcer a prendre ces congés. Est-ce possible?
Il est assez clair que mon employeur veut avoir le moins de congés à payer lors du solde tout compte possible, mais il me semble que ce n'est pas une raison valable...

Merci pour votre aide!