Separación de no casados con hijos

Llevo viviendo con mi pareja 4 años, tenemos una niña de 3 años, reconocida en el libro de familia, pero no nos hemos casado ni estamos inscritos como pareja de hecho. Nuestro piso esta al 50%. La niña y yo estamos empadronadas en este domicilio, pero el nunca lo ha estado. Me estoy planteando dejarle, después de muchos desprecios por su parte ya no estoy enamorada de el y ademas he encontrado al hombre de mi vida. Estoy asustada pues no se como se solucionará esto. ¿Qué derechos tendría yo para quedarme en la casa con nuestra hija y que fuera el quien se fuera de aquí? ¿Podría el negarse a abandonar la casa?