Heures de route inter chantiers

Mon patron ne veut pas déclarer mes heures de routes d'un chantier à un autre en temps de travail, mais en heures de route retour.
En effet, étant en chantier en grand déplacement sur Douarnenez du lundi matin au jeudi matin. J'ai pris la route le jeudi matin pour rejoindre d'autres collègues sur un chantier en Vendée. 31h sur le chantier de Douarnenez, 4h  de routes inter chantiers, et 4h30 sur le chantier de Vendée. Soit 39h30 de travail. Mon contrat est de 39h.
Il ne considère pas les 4h de route comme du temps de travail, et me dit que mes heures sont de 35h30 et que ma semaine n'est pas complète. 
Qui a raison ?
Merci pour vos réponses