Test PCR & congé imposé

Bonjour,
Voici ma problématique:
Dans un contexte tendu (période de préavis de démission) sur mon lieu de travail (structure médico-sociale), une campagne de tests a eu lieu suite a un cas de covid, un vendredi. J'étais en congés le soir même pour une semaine.
La supérieure hiérarchique m'appelle le vendredi suivant (donc, sur mes congés) à 15h30 pour venir faire un 2ème test pour confirmer la négativité des résultats. J'indique ne pas être en mesure de venir, surtout que l'on ne m'avait pas prévenu de ce "contre-test" (un mail avait été envoyé sur les adresses professionnelles, que je ne consulte pas en vacances évidemment.), et indique faire un test de mon côté dès que possible. Cela n'étant pas une urgence, je ne me suis pas tourné vers un hôpital mais les labos, et n'ai trouvé de RDV que le lundi matin avant ma prise de poste.
La supérieure hiérarchique, apprenant cela, a refusé que je prenne mon poste avant retour des résultats. Et m'indique vouloir retirer cette journée d'absence de mes Droits aux congés. Je suis donc rentré. Ce dans un contexte ou j'apprends que mes collègues, testé(e)s eux aussi, ont pu travailler en attendant leurs résultats.