Problemas con los vecinos

Muy buenas tardes, mi vecino me quiere denunciar porque dice que es insoportable el ruido que escucha de mi casa, esta mañana amablemente le he dicho que los ruidos no solo son de mi casa, sino que al vivir en una comunidad y las paredes están mal construidas, se escucha ruido por todos los rincones, pero él dice que viene de mi casa, que siempre mis niños están con la bicicleta o con pelotas ruidosas, que les compre juegos educativos que no hagan ruido o que los eche a la calle, vamos! Que hoy me ha sacado de mis casillas un poco.
Me gustaría que me aconsejase si por jugar mis niños de 18.00 a 20.00 con lo que les de la gana a ellos, puede ser denunciable, porque de 15.00 a 17.00 no les permito nada, solo a descansar y a las 21.00 ya están acostados.
Muchas gracias por su atención y en espera de su respuesta reciba un saludo.