Problemas con el vecino de abajo

Buenos días:
Vivo alquilado. Tengo mujer (embarazada) y tres hijos pequeños. Desde hace unos cinco años mi vecino de abajo nos acosa porque dice que no le dejamos vivir con el ruido de los críos. Esto no es cierto. Por las mañanas no hay nadie en casa, a la hora de la siesta ven los dibujos y por la tarde siempre salimos a la calle. Por la noche los niños están durmiendo a las nueve y no se despiertan. Los fines de semana estamos casi todo el día fuera de casa. El único momento que podemos hacer un poco de ruido es entre 5 y 6 de la tarde y algo esporádico y moderado, nunca constante. Mi vecino exagera, pero nos está acosando ya que nos ha dejado varias notas por debajo de la puerta amenazándonos con hablar con la comunidad, con nuestro propietario, o con instancias "mayores". Cuando los niños hacen el más mínimo ruido o se les cae algo al suelo da golpes en su techo de manera violenta y reiterada y se pone a dar voces. Mis hijos están bastante afectados y tienen miedo. A veces se despiertan por la noche y alguna vez el vecino ha llegado a despertar de la siesta al bebé con sus golpes. Mi mujer embarazada tiene problemas de ansiedad por este tema. Para esto esta en tratamiento. Nuestro segundo hijo nació prematuro, tal vez porque mi mujer ya estaba sufriendo este problema. Yo, por mi trabajo paso cortas temporadas fuera y me preocupa dejar sola a mi familia ya que este individuo reacciona con bastante violencia. Tengo sospechas bastante consolidadas de que me ha rayado el coche en el garaje y me ha cogido correo del buzón. El otro día se enfadó bastante y no se si hará algo contra mí. No sé que hacer ante todo esto. ¿Me pueden ayudar?. Gracias