Mi ex novio quiere llevarse a su hijo "por las bravas"

Hola, tengo 19 años, no trabajo ni estudio, vivo con mis padres y soy madre de un niño de 7 meses que tuve con mi expareja que ahora tiene 18 años. Hasta ahora todo iba bien, mi hijo vive conmigo. Su padre no le pasa ningún tipo de ayuda económica. Su padre se lo lleva a diario por la tarde hasta la noche antes de dormir, pero ahora dice que se va a llevar al niño cuando él quiera durante todo el día "por cojones" y a ver quien se lo impide. ¿Puede llevárselo cuando él quiera?. ¿Puedo negarme a que se lo lleve?. Por favor, díganme algo urgente porque la situación se está calentando y no sé que hacer. Gracias de antemano.

{"Lat":40.3800284025118,"Lng":-3.603515625}