Teniendodo 2 trabajos.. Puedo darme solo de uno la baja de paternidad? Ya que cuando fui padre solo trabajaba en uno de ellos

En septiembre fui padre y tenía un trabajo a 20 horas semanales, me cogí 15 días de paternidad y aún me quedan 6 semanas... Pero ahora trabajo en ese mismo sitio y en otro a 35 horas semanales, ¿mi pregunta es... Puedo coger esas 6 semanas solo del trabajo que tenia al principio de 20 horas? Ya que en el nuevo aún no trabajaba