Hijo sin ser pareja de hecho

Tengo un hijo con una expareja, nunca regularizamos papeles a pesar de que estuve empadronada en su vivienda unos años 4´0 5.
Por motivos personales, tuve que dejar a mi hijo y tras previo acuerdo con él y su familia, ya que yo independizandome en mi nueva vida estaba con una mano detrá y otra delante, con un psicólogo llegamos a la conclusión de que era mejor que yo, digamos le dajara vivir con él pues su economía era bastante desahogada y yo estaba en la calle. Renuncié a todo y lo he visto siempre los fines de semana, y entre semana vive con él, nos vemos también en fiestas y cuando quiere. También le compro lo que necesite.
El caso es que hoy me ha llamado el padre de mi hijo y me dice que en hacienda yo he puesto que estoy con hijo a cargo, realmente cuando me toca lo tengo a cargo y lo mantengo. ¿Es qué no tengo derecho a incluirlo en mi declaración? Yo lo explique en hacienda y no me dijeron nada. He estado declarando desde que compré mi casa hace 5 años con mucho esfuerzo personal y nunca ha pasado nada, ahora me dice que estoy "ilegal" en la declaración pues el niño vive con él, y dice que mis gastos no cuentan que son menores, que como no lo tenemos regularizado...
Pero yo nunca he pedido nada, yo me he levantado sola poco a poco y esty estudiando en la universidad, y cuando alguna vez pedí la beca, comenté la situación...
No entiendo nada, voy a pedir un certificado de empadronamiento y enviárselo para que vea que yo no lo he empadronado aquí y que no persigo ningún interés.
E hiré a Hacienda a ver lo que me dicen, es que no tengo ningún derecho sobre mi hijo como madre, este verano solamente en recogerlo y llevarlo de mi casa a la costa donde estaba y llevarlo donde quería, ¿me he gastado 200? En gasolina, y he pagado una parte de la academia donde estuvo estudiando para aprobar en septiembre, comida por descontado, calzado, ropa... No sé como hacer también tengo gastos cuando está conmigo. ¿Sólo puede declarar el padre en hacienda?