Mi relación de pareja me estresa mucho

ojala puedan aconsejarme..

Mi relación actual con mi pareja de 2 años y media ha tenido más caídas que altos.. El tenia un pasado de drogadicción.. Mujeres cuando me conoció se alejo de eso pero siempre había una que otra duda y peleas.. Siempre por celos o malos entendidos.. Nunca me ha pegado pero en muchas ocasiones hemos tirado cosas y autogolpearnos.. Hoy por hoy yo hago un tratamiento psicológico.. Me va bien.. Hasta hace unos días que mi estabilidad volvió a decaer.. Mi novio es una persona que no admite sus errores.. O más bien le cuesta verlos.. Me dice que yo soy la que hace mal las cosas ( entonces yo mejoro para estar bien en la relación) pero el no puede mejorar en sus actitudes de que habla mal.. Llora por todo.. Se enoja por todo.. Es muy arrogante y orgulloso.. Y luego tiene la cara de decirme "yo hago todo bien yo hago todo perfecto nunca te hago daño con intención".. Es cierto jamas me hizo nada con intención pero m da bronca porque siento que no me ayuda.. La relación es de a dos.. Yo intento mejorar y el no. Me estresa mucho mi situación.. Me levanto triste.. Ya ni como.. Y cuando le digo que me quiero ir y dejarlo porque no estoy bien me dice " yo sabia que ibas a dejarme.. Esa es tu solución.. Irte" y al final siempre me quedo.. Yo lo amo y quisiera estar bien pero no siento que nada haga bien.. ¿qué debería hacer?