Posibilidad de negarme a realizar tareas en empresa en la que no estoy dado de alta

A ver si alguien puede aconsejarme un poco respecto a una duda que tengo por mi situación laboral.
Llevo más de 15 años ejerciendo de administrativo en una empresa (llamémosla A)
Desde hace unos 5 años, el dueño de y Administrador Único de la empresa A, constituyó otra empresa similar (llamémosla B) de la que también es Administrador Único y me "endosó" las mismas tareas administrativas que en la empresa A.
Hasta ahora he estado llevando al administración y contabilidad de ambas empresas, trabajando más realmente para la empresa B que para la A, la cual está casi inactiva.
Viendo los derroteros que la empresa B está tomando, con actuaciones "raras" contablemente hablando, estoy empezando a pensar en negarme a llevar ninguna gestión de esta empresa B, ya que no estoy dado de alta por ella.
Mi duda surgen en que en caso de negarme, y dando por hecho el conflicto que me va a generar con mi Jefe, si me podrían obligar a seguir haciendo mis labores en la empresa B porque tienen al mismo Administrador Único y la pueden considera empresa del grupo, aunque no lo sean.