¿Cómo manejar los sentimientos que me causa la comunicación con una persona que no me gusta?

Soy una mujer de 40 años y desde los 18 años vivo lejos de la ciudad donde vive mi madre con su segundo marido que es mi padrastro. La causa de la temprana separación fue precisamente por el tema de mi padrastro, que jamás me quería, tampoco a mi hermano, quien también pronto buscó maneras de vivir fuera por la misma razón.

Nuestro padrastro jamás nos amó, siempre nos criticaba, siempre buscaba maneras de decir algo mal, jamás nos preguntaba por cómo estábamos. Nos trataba como si no existiéramos - por ejemplo, si veíamos la tele, él cuando quería ver otra cosa, cogía el mando y cambiaba de canal sin decir nada; además siempre estaba de mal humor, criticando a todo el mundo, y solo cuando le convenía (con sus jefes, por ejemplo) se convertía en una persona super amable. O sea, mi hermano y yo en casa pasábamos un estrés diario desde que tuve 5 años, cuándo mi madre se casó con él. Ella de vez en cuando tenía conflictos con él por el tema del tratamiento hacía nosotros, pero como él no nos causaba daño físico y nos mantenía económicamente, ella no lo veía como grave, o quizás no veía otra forma mejor para sobrevivir ella sola con dos hijos.

Muchos años le guardé el rencor a mi padrastro, le odiaba, pero creo que últimamente he podido perdonarle. El problema es que de vez en cuando tengo que volver a verle, porque necesito a visitar a mi madre. De hecho, todos estos años la visito con muy poca frecuencia; ella piensa que es por que vivo muy lejos, pero la razón principal es el padrastro a quien jamás tengo ganas de ver, y no es porque pensaría en cosas que pasaron hace años, sino que él sigue la misma persona desagradable y me trata de la misma manera como cuándo yo tenía 15 años. Claro, si me dice algo de forma brusca, yo le respondo también, o dejo la casa directamente, tras decir que no tengo que aguantarlo.

Es triste, porque sé que me gustaría visitar a mi madre con más frecuencia, pero el estrés que me causa la idea de verle a él, me causa tanta ansiedad que prefiero no ir...

Lo que pasa que mi madre parece ser que se haya olvidado de lo que mi hermano y yo vivíamos en casa, y si alguna vez he intentado a hablarle sobre lo que siento, ella se pone muy nerviosa y empieza a decir cosas como que no soy agradecida por lo que me dio el padrastro (o sea, lo económico, porque más cosas no nos dio), o que "hay niños que viven en la calle y tú tenías tu propia habitación, etc"; o sea, sacar el tema es imposible si no quiero acabar en un conflicto grave con ella.

También, si no quiero tener confictos con mi madre, que es mayor y la amo mucho, me siento obligada de felicitar a mi padrastro en su cumpleaños, así como el día del padre, cosas, que también me causan estrés, pero que al final solo son dos minutos. Le felicito por teléfono, bueno las felicitaciones más falsas... Lo hago por mi madre, no por él, para evitar conflictos. Igual que me cuesta mucho preguntar por como está él, y es que últimamente él está teniendo varios problemas de salud, pero es que no puedo sentir nada de compasión hacía él, y si alguna vez pregunto por su salud, es también porque sé que esto le gusta a mi madre...

Ahora otra vez estoy pensando en visitar a mi madre (vivimos en distintos países), tengo tantas ganas de verla, pero el hecho de que él está en casa (ambos son jubilados) me lo hace tan duro de decidir...

¿Tengo qué aceptar las cosas tal y cómo son o es que podría (o incluso debería) hacer algo?