¿Hay problemas sin no te retiene la empresa IRPF?

Haber supongamos que al realizar la declaración de la renta de este año sale a pagar 400 €, no llegando a los 22000 € brutos, con lo que no se esta obligado a presentar la declaración por estar por debajo del mínimo, pero al comprobar las retenciones se ve que la empresa solo retuvo irpf el primer mes del año, los demás no retiene nada. Mi pregunta es: ¿Hay algún problema si no se presenta la declaración? ¿Puede hacienda exigir ese irpf que la empresa no a retenido?