¿Soy yo la que tengo que esforzarme en acercarme a él y compartir sus gustos?

Tengo 36 años, llevo 6 años casada, con una niña de 5. Me case como se suele decir de penalti, tras 7 años de noviazgo. Los dos primeros años fueron patéticos, problemas con sus padres y con el que no asumía la situación. Nos separamos durante 1 año y me pidió que volviera y así fue. Ahora mi situación es muy difícil. Dice que me quiere, de veras que quiere a la niña, no me es infiel, no me pega, tiene dinero y muy buena posici{on social. Por fuera perfecto. Por dentro, a{un no sabe ni le interesa saber cuales son mis gustos, mis deseos, mis problemas. Según dijo una vez, hay dos cosas, lo que es como el y lo que no, que no le interesa. Hay muchas discusiones en la que grita mucho y si la situación es muy fuerte me ha llegado a decir en varias ocasiones que "me largue". Luego se tranquiliza y parece hasta un cordero, pero a mi me causa mucho daño.Me dice que el es "un cacho de pan" y que yo soy la culpable y que todos los hombres son peores que el. ¿De verdad es eso así?. ¿Soy yo la que tengo que esforzarme?. Sinceramente lo que quiero es dejarlo, pero tengo miedo de no hacer lo correcto, en especial por mi hija.
Gracias por la contestación