Necesito ayuda para solucionar mi relación

Ola quería plantearos un problema que me lleva atormentando bastante tiempo ya y esque nose a quien acudir para que me aconseje, tengo 23 años y llevo casi 7 años con mi actual pareja que tiene 36, vive solo, separado y con una niña de 14 años, la diferencia de edad no es el problema si no la relación con la niña.
El vive en un pueblo igual que su hija, aunque esta vive con la madre, al principio la relación que yo tenia con la niña era muy buena ella confiaba mucho en mi y siempre decía que iva a ver al padre por mi, porque yo estaba, todo cambio este verano cuando su padre y yo lo dejamos por varias circunstancias y al mes volvimos, el primer fin de semana, después de haber vuelto, la niña estaba normal pero de pronto dijo que si estaba yo que ella no estaba cómoda, así que los fines de semana que le toca estar con el padre no venia porque supuestamente estaba yo y que según ella se llevo un palo muy grande porque durante ese mes que estuvimos separados su padre y yo no la llame ni nada, yo eso lo entiendo pero también lo veo exagerado por su parte, a si que actualmente ve al padre los martes y los jueves que no estoy yo.
Esta situación al principio la llevaba bien pero ahora me incomodaba mucho porque los fines de semana que yo estoy allí no estoy cómoda del todo, lo hable con mi novio y este lo hablo con su hija aunque yo también hable algo con ella vía wassap y el fin de semana siguiente ella vino, estuvo la cosa tensa pero yo tan normal con ella, pero ya esta, no ha vuelto a venir más cuando yo estoy ,y claro yo lo paso mal porque esa situación me parece algo violenta e injusta, yo le plantee al padre la cosa de que en un futuro cuando vivamos juntos y tengamos nuestros propios niños que qué pasaría, lo hablo con ella y dice que cuando vivamos juntos que no pasa nada que cuando ella quiera verlo que lo llamara para ir a tomar un café o algo pero que no aparecerá por la casa porque yo estoy allí, mi novio me dice que él me apoya y que va a estar ahí conmigo y que entiende que lo pase mal pero que es su hija y que no puede darle de lao, que conste que yo en ningún momento le he dicho que hiciese eso,
Pero claro esta situación a mi me angustia mucho porque nose si me compensa estar toda la vida con esta responsabilidad a mi espalda pese a la edad que tengo y vivir asi en un pueblo (porque lo de cambiarnos de residencia esta complicado ya que allí tenemos las casa y actualmente como están las cosas no es muy buena idea) donde todo el mundo sabrá la historia y en el cual en cualquier momento me la puedo encontrar, aparte de que puede haber ciertos acontecimientos familiares en la que nos encontremos las dos como bodas, comuniones de los sobrinos, etc. Incluso en la propia boda de su padre y mía de la cual ya teníamos fecha cogida.
Anoche lo hable con mi novio ya mas seriamente porque últimamente estoy fatal, le dije que lo estaba pasando muy mal y que no se si esto me compensa, el me dijo que lo pensara y que hiciese lo que mejor viese para mi, que él al ser su hija no va a darle de lado y yo estoy que no se que hacer, porque la relación con el es estupenda estamos muy bien juntos, lo quiero muchísimo tenemos planes de boda, acabando la casa y no se si podré vivir sin él.
Entonces esque no se que hacer si dejarlo y pasarlo mal al principio hasta que lo olvide mejor que pasarlo mal toda la vida teniendo que vivir con esto dentro o encontrar, que no se como, una solución a este problema.
Os pido ayuda, consejos, ideas acerca de lo que puedo hacer y opiniones de que haríais ustedes en mi lugar ya que no se a quien acudir para que me aconseje.
Muchas gracias y un saludo