Démission

Bonjour
Ma situation est la suivante :
* je suis salarié d'une ESN depuis 3 ans
*Actuellement en Intermission
*on m'a proposé une mission que j'ai accepté verbalement après une pression de la part du manager. (Sans ordre de mission ni fiche de poste) 
*Après l'acceptation de cette mission, j'étais en congé et entre temps le manager sans me prévenir s'est engagé auprès de client que je vais démarrer dès mon retour du congé. 
*Le jour de ma reprise, on m'a envoyé un mail me demandant de se rendre sur site du client. (Mon médecin m'a arreté ce jour) 
*j'ai envoyé ma d'émission et j'ai demandé de réduire mon préavis et j'ai aussi informé le manager par téléphone que je ne veux pas aller pour cette mission. 
Ma question
Est ce que cette démission peut être considérée comme abusive? 
Est ce que je risque de verser des dommages et intérêts à mon employeur s'il saisisse la prud'hommes?