mon fils ne veut plus venir chez moi ou de moins en moins

Bonjour,
Voilà je vous explique ma situation en reprenant du début
J'ai divorcé du papa de mon fils, il y a maintenant 10 ans, mon fils avait à peine 1 ans et demi quand nous nous sommes quittés; C'est moi qui suit parti. A l'époque nous avions pris un avocat commun et avions fait un divorce à l'amiable; Je voyais mon fils un week end sur deux et la moitié des vacances scolaires et se rejoignaient à un endroit précis tout ca est acté dans le jugement.
Depuis mon ex mari, à déménager plusieux fois, nous nous sommes toujours arranger à l'amiable sans revoir le jugement, meme si pour ma part ca me faisait plus de frais, j'ai toujours vu le bien être de mon fils avant tout, ce qui parait normal quand on a un enfant.
Aujourd'hui le jugement est comment dire "caduque" car je ne vois moin enfant que pendant les vacances scolaires, et un week end entre chaque période si mon fils le souhaite et du coup nous nous rejoignons à un autre endroit (pas le meme prévu sur le jugement). Je n'ai rien dit à chaque fois que mon mari a déménagé alors que je sais que normalment celui ci aurait du m'envoyer un courrier à chaque fois.
Voici le souci d'aujourd'hui mon fils et mon mari comptent faire appel au JAF parce que mon fils ne veut plus venir chez moi, pas parce qu'on ne s'entend pas mais parce que son père lui donne tout et dit oui à tout, alors que chez moi il y a un peu plus de règles, que je suis plus vigilante au portable, aux réseaux sociaux...
Je suis désemparée, j'ai toujours tout fait au mieux pour mon fils, mon mari actuel aussi ... je ne veux que son bonheur, mais je veux voir mon fils que faire???