annulation devis extension suite au refus permis travaux

 Je desire faire une extension de ma maison j'ai donc demandé plusieurs devis et j'ai signé et versé un acompte avec une entreprise. Après 2 ou 3 semaines j'ai une personne qui me signale que même si mon extension est inférieur à 20 m2 je dois faire une demande préalable de travaux Je dépose une première demande qui à été refusé et refait une demande en modifiant et complétant ma première demande et toujours refuser car dans le plan d'urbanisme mon projet n'est pas réalisable (alors que je voulais faire la même extension que mon voisin a fait depuis plus de 30ans) Entre temps j'avais averti l'entrepreneur de mettre le projet en attente. Je l'appelle pour lui dire qui faudra annuler le devis Il me dit qu'il voit de son coté ce qu'il peut faire, pas de réponse je lui envoie donc un recommandé pour demander le remboursement de mon acompte important (10000) et une semaine après il me signale qu'il s'est entretenu avec un avocat qui lui a dit que je ne suis pas dans mon droit qu'il n'a pas à me rendre l'acompte et qu'en plus si nous allons au tribunal il peut mes demander la totalité du devis signé ! Je suis d'accord dans le fait qu'annuler un devis n'est pas autoriser mais là ce n'est pas de ma volonté Quelle recours puis-je avoir ? certains me disent qu'en tant que professionnel il avait une obligation de conseil et devait s'assurer que la demande d'autorisation de travaux avait été accepté avant signature du devis. Moi je veut juste récuperer mon acompte car je pense de sa part qu'aucun frais n'a été engagé (d'après lui blocage des travaux dans son planning). Merci pour votre aide