Modification permis de construire sans mon autorisation

Bonjour,

J'ai cherhé sur le forum mais je n'ai pas trouvé de solution.
Je vous explique mon cas assez particulier.
J'ai déposé un permis de construire en accord avec ce que je souhaitais. Tout se passé bien lorsque samedi la mairie m'appelle pour m'informer que mon permis avait été accordé. J'étais content, puis elle m'annonce que celui-ci à été modifié lors de l'instruction. Hors, je n'ai pas été mis au courant et je n'ai pas donné mon accord pour une quelconque modification.
J'ai contacté mon dessinateur qui m'a informé que la mairie l'avait contacter directement pour lui dire qu'il fallait modifier la piscine sinon le permis serait refusé. Il a donc réduit, sans m'en informer, la piscine, la passant de 8 m par 4 m  à 6 m par 4 m. Le permis a bien été accordé mais au vu du budjet de la construction, je préfère annuler le projet et construire sur un autre terrain, plutôt que réaliser un projet que je ne souhaite pas. Malheureusement, vu que le permis est accordé, je ne peux me désengager du terrain sans verser le frais qui s'élève à 4950 euros. Pour ma part, il est hors de question que je dépense une telle sommes alors que je n'ai pas voulu cette situation.
Je vous contacte donc pour connaitre mes recourts. Sachant qu'il n'est pas possible de modifier le projet pour obtenir la piscine de 8 m par 4 m sans modifier le projet initial ce que je ne souhaite pas. Est ce que je peux demander réparation au dessinateur pour que la somme et les frais engagés soit à sa charge?

Merci pour vos réponse