Tengo una duda laboral cotizar dos trabajos

Actualmente trabajo jornada completa en una empresa y me ha surgido la oportunidad de hacer extras en otra empresa diferente los fines de semana durante 4 horas. Quería saber si trabajar 4 horas semanales en otro trabajo me penaliza en la renta. Si al tener dos pagadores voy a pagar más impuestos quizás no me interese aceptar ese trabajo semanal de 4 horas. Soy padre de familia numerosa y estoy casado y vivo en Madrid.