No puedo mantener mi erección con otra mujer

Yo estoy casado con una mujer mayor 8 años más que yo hace ya 14 años. En este momento tengo recién 40 años. La relaciones sexuales con mi esposa no han sido de lo mejores, ya que cada vez más le cuesta sentir deseos sexuales. La mayoría de las veces que tenemos relaciones sexuales ella no tiene ganas y solo me deja a mi hacerlo. Esto ocurre unas 2 o 3 veces por semana (miércoles, viernes y sábados y a veces 4 contando el domingo), así como también pueden pasar 1 o 2 semanas sin tenerlo por que ella no quiere.
Ella siempre ha tenido un cuadro de depresión el cual lo trata con medicamentos, ojo que esto es a medias ya que solo va al médico por pastillas, no le gustan las terapias.
Bueno, el cuento es que mis erecciones son normales con ella, tenga ganas ella o no. Yo normalmente tengo deseos sexuales, y muchas veces siento erecciones en el día. Cuando lo hacemos, normalmente tengo una erección normal y sin problemas aún cuando me apena tener relaciones con ella cuando no tiene nada de ganas ya que se que le esta doliendo (uso gel lubricante en esos momento). Adicional a esto tenia una relación por fuera, las cuales no pasaban más allá de 4 o 5 veces al año, ya que ella era de otro país y cuando venia teníamos sexo. Siempre fue todo normal con esta otra persona, hasta que una vez, hace 2 años y medios atrás, fuimos a tener relaciones y todo comenzó normal, solo que al momento en que ella me pidió estar arriba, mi erección desapareció por completo y con ganas de acabar. Solo pudimos hacerlo yo encima pero acabe a los 3 minutos de estar encima de ella. A la semana siguiente lo volvimos a intentar y me paso lo mismo. Luego llegue a la casa y tuve relaciones con mi mujer, ella sin ganas, y no tuve problemas, mi erección fue normal. Ahora estoy con otra persona por fuera, con la cual la primera vez me paso lo mismo (no pude mantener mi erección), pero esta vez fue cuando comenzamos a tener sexo, mi erección no era la correcta ni siquiera estaba duro por completo y con ganas de acabar al tiro. Trate de penetrarla, pero mi pene estaba muy flácido, e intente varias poses para sentirme comod, ya que estaba nervioso, pero no se pudo. Luego de descansar un poco y sobarme yo mismo para que creciera, la penetre pero acabe casi al tiro, en menos de 2 minutos comencé a acabar. Lo hemos hecho otras veces, pero me he tomado una pastilla de sildenafil para no pasar la vergüenza, ya que pensé que era por la excitación de la primera vez y los nervios, pero no quería arriesgarme. Luego que he tomado confianza, trate de hacerlo una vez sin la pastilla, la cual fue un poco desastrosa, ya que también mi erección comenzó a disminuir, pero igual logre mantener un poco erecto mi pene para que ambos tuviéramos una buena relación sexual, no muy larga.
Con mi esposa, sigo manteniendo las mismas relaciones sexuales, ósea con su desgano y poco deseo sexual de jugar o hacer diferentes cosas en la cama. La rutina siempre es la misma, pero mi erección no decae con ella, ni siento el deseo de acabar al tiro, si no más bien trato de acabar luego para que ella no sienta tanto dolor cuando no tiene ganas, ya que si tiene, trato de esperar que ella acabe para luego hacerlo yo, pero eso ocurre 1 vez al mes.
Por lo tanto mi pregunta es simple, que es lo que tengo y como puedo remediarlo ya que no logro tener una buena erección con otras personas. Espero me entiendas y me ayudes y/o aconsejes.