autorisation pour chantier

Bonjour,
J'ai un passage ouvert sur la rue, c'est mon accès principal pour accéder à ma maison. il est  mitoyen d'un terrain où deux maisons vont être construites. Pour ces futures maisons, à l'opposé de mon passage, il existe un accès suffisant, passage de 5m de large avec une place de retournement tout en enrobé, donc normalement, les artisans n'auront pas de problèmes d'accès. 
Le problème qui se pose avec la construction de deux maisons, c'est qu'il y aura beaucoup de véhicules qui vont encombrer la place.
Donc, pour la facilité du chantier ( terrassement, toupies, livraison des matériaux...), mon passage serait plus aisé, puisqu'il est mitoyen des futures maison.
Le constructeur m'a demandé l'autorisation de passer par chez moi pour y faire passer les camions. J'ai refusé, déjà parce que mon passage est empierré, donc fragile et ensuite pour ne pas subir les nuisances.
Le constructeur peut-il malgré tout m'obliger à lui laisser un accès ?
Et si les artisans passent quand même sans mon autorisation, que puis-je faire ?
Je n'aime pas les histoires, mais je crains que l'ambiance ne soit un peu électrique. 
Merci d'avance pour votre réponse.
Cordialement.