Incumplimiento régimen de visita

Hola buenas tardes,
Tengo una consulta, tengo un acuerdo con el padre de mi hijo con una pensión alimenticia y un régimen de visitas. La pensión alimenticia de momento la va cumpliendo más o menos, pero en lo que respecta al régimen de visitas, él tiene que venir a buscar al niño los viernes cada quince días a la salida del cole y traerlo los domingos a las ocho de tarde, pues bien, como el vive lejos a unos 100 km más o menos, acordamos que como no llegaba a la hora de recogerlo al cole que vendría más tarde a buscarlo, ningún problema, después los domingos lo trae a la hora que quiere él normalmente más pronto de la hora nunca concretando con lo que tengo que está supeditada a la hora que él quiera venir, y estar esperando en casa sin poder ir a ningún sitio (creo que merezco tener mi vida, igual que él), pues bien después de un tiempo haciéndolo así, decide que se lo lleve y se lo recoja al tren sin salir él de la estación ( como si entregara y recogiera un paquete), después de mucho tiempo haciéndolo así le pido que al menos sea una semana que venga a buscarlo a casa y otra se lo llevo al tren, pues bien, encima que no está de acuerdo se niega a venir a buscarlo y le dice a mi hijo que si yo no se lo llevo a su casa que no lo va a ver ( para mi es una amenaza ), no contento con decirle esto a mi hijo me escribe un e-mail no dejándome muy bien, con lo cual me encuentro que no sé que hacer ¿me pueden ayudar?, a parte de todo esto no se interesa por nada de lo que concierne mi hijo, ni educación, ni amigos, ni profesores, ni actividades ni nada de nada, no hay comunicación de ningún tipo.
Gracias de antemano