Difícil situación con el hijo de mi pareja

Yo soy divorciada, el separado. YO tengo una niña de 6 años, el un niño de 7.Mi hija se acopla bastante bien a vernos juntos y lo acepta.Lo lleva muy bien. Incluso que el pase la mayor parte del tiempo con nosotras en casa. Pero su hijo lo lleva fatal.No sabemos que hacer, solo pensamos en el bienestar de los niños, en que hacer para que estén felices, en donde llevarlos para que lo pasen bien, siempre primero ellos. Pero su hijo no acepta nuestra relación, ni quiere compartirme con su padre, me habla mal, le pega a mi hija, nos trata mal a ambas, incluso contesta y desobedece a su padre. Muestra a todas horas el desagrado que le produce estar con nosotras y en mi casa. Últimamente los fines de semana con niños son una pesadilla. Nada le contenta, cuando le falla el portarse mal se vuelve llorón por todo, y se abraza y se cuelga de su padre en todo momento. No sabemos que hacer, esto nos esta perjudicando como pareja.
Si alguien pudiera orientarme.
Gracias