Mi vecino se quejó de que mi hijo jugaba fútbol a las 0:40 y se puso agresivo

Ayer mi hijo se puso a jugar al fútbol a las 0:40 sin darme cuenta, salió mi vecino a su ventana gritando como loco que le despertaron y que si tenia que ir a decírselo en persona, hablé con él disculpándome por las horas y seguía increpando de jugar al fútbol, cuando alguna vez que otra se ha puesto pero en horario de día sin ser dicho horario la siesta. No somos problemáticos, no ponemos la música alta y a partir de las 23:00 incluso la quitamos (solo salimos en verano al jardín y no todos los fines de semana) no hacemos ruido, hago que mis hijos no griten cuando estén en la piscina o fuera (a mi mismo me molestan que griten, por eso los corrijo) y además, me amenaza con denunciarme, cuando se pone a arrancar la moto, muy ruidosa varios minutos y nunca le he dicho nada, cuando si hiedra me invade y me dedico a cortarla y tampoco le digo nada, en fin, intento convivir. No sé qué podría hacer.