¿Existe daño emocional por estar con su padre?

Hola, de antemano gracias por su atención.
Sucede que estoy divorciada hace ya 2 años y en el divorcio estipula que mi hijo, que ahora tiene 4 años esté con su padre una vez a la semana y en vacaciones, la mitad del tiempo conmigo y la mitad con su padre.
Mi ex jamas fue diagnosticado de ninguna enfermedad mental, pero yo sé que la tiene, ya que desde que lo conozco ( a sus 19 años), he tenido conductas hipocondríacas, obsesivas, depresivas, y otras más que le puedo seguir ennumerando... Yo se un poco de psicología porque en la universidad llevé una materia de ésto, para poder atender y entender a los pacientes (soy estomatóloga, o dentista).
Para esto, desde antes del divorcio me sugiró hacer cosas raras, como no darle el divorcio para que la persona con la que ande se harte y lo deje, ser su amante, y otras conductas reprobables. Ademas, el tiene la firme idea de que el mundo se va a terminar en el 2012 y me pidió que en esos momentos estar juntos, como familia (!). Bueno, a partir de entonces, le dirijo la palabra solo cuando es necesario y solo lo básico... Pero he notado y cambio del comportamiento de mi hijo en este año, antes que cumpliera los 4 y hasta ahora que ya tiene 4 años y 3 meses. Se ha vuelto muy grosero con mi familia y conmigo, es muy rebelde e hiperactivo (antes no lo era). Además viene con ideas de que Dios no existe, siendo yo católica y su papá es ateo hace apenas 2 años, en algunas ocasiones el niño me pega si le digo: "tu papá no sabe lo que dice"... O por ejemplo, su pediatra me dijo que tengo que balancearle los alimentos, es decir, que tiene que comer de todo, al niño si le gusta el sabor de la carne, sin embargo, cada vez que vamos al super y pasamos por el área de carnes me dice: "guacala mamá, animales muertos, a mi papá no le gustan", y yo le pregunto: ¿Y a ti te gustan?, y me dice que si, y dice que su papá no quiere que coma esas porquerías, etc. U otra cosas, que le dijo su papá que las personas que juegan fútbol son tontas, y tantas cosas que le dice, que la verdad me enojan, pero es que así es él, fanático, exagerado, siempre está enfermo y hasta el niño dice que siempre anda triste su papá. Yo me he asesorado, y es posible restringir las visitas o quitarle la custodia. Mi pregunta sería: ¿Es mala idea separar al niño de su padre?, o ¿El podría dañarlo psicológicamente?