Bajada de retención irpf teniendo sueldo neto pactado

Soy indefinido hace varios años, pactando en su día un sueldo neto con condición que la Empresa me page los impuestos correspondientes a ese sueldo, ahora he sido padre de mellizas agarrando baja paterna, a la hora de darme de alta y empezar a trabajar me encuentro que la empresa me baja el irpf del 19% al 5% aprovechándose de mi situación familiar, con lo cual mi base de cotización baja un montón. ¿Esto es legal? ¿Puedo reclamar que me lo suban como antes?