Niño vuelve enfermo cada fin de semana tras estar con su padre.

Buenas noches;
Tengo una pregunta sobre la que no encuentro respuesta en ninguna parte y agradecería cualquier ayuda.

Tengo custodia de mi hijo de 2 años y medio tras el divorcio, y su padre lo recoge fines de semana alternos, el problema es que la mayoría de ellos el niño vuelve enfermo, contando visitas a urgencias, me sale que el mismo domingo o el lunes siguiente el niño ha tenido fiebre 11 de los últimos 15 fines de semana que ha pasado con su padre.

Ya sean otitis, mocos, garganta.....
La situación es insostenible, tanto como para la salud de mi niño como para mi vida, ya que cuando está enfermo las noches son horribles (ahora son las 5 am y no he podido pegar ojo)
hay algo que pueda hacer? Nunca me he negado a que el irresponsable de su padre vea al niño, en el convenio propuse dos tardes cuando mi abogada decía que una.... No pretendo que su hijo no vea a su padre pero no está capacitado para atenderle un fin de semana...
Para muestra, este fin de semana, el niño fue con una conjuntivitis que le pegaron en la guardería, pues su padre no le puso las gotas de antibiótico porque se le olvidaba, de 3 veces al día con suerte una, y para colmo, no me las devolvió el domingo... Esa misma noche a las 12, ya estaba con 39...
Puede servir esto para acreditar que el padre no esta capacitado para atender al niño un fin de semana entero?