¿Puede ayudarme?

Hola no se como afrontar este problema
Soy un hombre de 40 años y llevo divorciado de mi mujer 2años aprox. El divorcio en si ya resulto bastante traumático durante un tiempo pero por una enfermedad que le surgió a mi hijo, bueno y por conveniencia de ella decidimos aparcar nuestras diferencias y así ha sido hasta hace más menos dos meses.
Aclarar que tanto ella como yo hemos rehecho nuestra vidas con otras personas ella nunca ha visto bien que yo tuviera pareja, bueno digamos que ha abierto una guerra descarnizada contra mi pareja para más inri vivimos en el mismo pueblo y mi hijo y los de mi pareja van al mismo colegio por lo que se ven todos los dias; Mi ex tiene otros dos hijos que los he criado yo y para mi estos son como míos pues desde hace un tiempo no me deja verlos ademas no deja de hacer correr rumores por el pueblo totalmente inciertos, el ultimo ha sido el que yo y mi pareja maltratamos a mi hijo cundo viene el fin de semana lo que pasa es que lo hace de tal manera que no se le puede demandar pues nadie te dice que directamente ha sido ella también el niño lo dice en el colegio y esto esta afectando mucho tanto a mi pareja como a sus hijos pues ellos saben que no es cierto pero no lo pueden demostrar al resto de personas que lo están escuchando.
Le rogaría por favor que me asesorase que puedo hacer pues esta causando mella en mi pareja y en mi entorno la gente me mira mal pues no se paran a contrarrestar le información que les llega juzgan sin saber la verdad ¿cómo puedo detener esto?