Lorazepam y la pérdida de memoria

Llevo 15 años tomándome 2 mg de lorazepam para dormir y desde un año estoy también con desvenlafaxina.

Entre los efectos secundarios de los dos está la pérdida de memoria pero tengo entendido que el lorazepam si lo tomo solo para dormir, el efecto se va a las 7-8 horas, justo en las horas de sueño. ¿A partir de ese tiempo ya no queda resto en el cuerpo?. ¿Entonces esta pérdida de memoria que llevo sufriendo desde hace un tiempo unido a episodios de confusión se debería solo a la desvenlafaxina?. ¿El estar tomando tantos años lorazepam no ha podido hacer mella en mi cuerpo?.

Todo esto es por recopilar un poco de información porque si sigo así iré a mi médico a que me cambie la medicación pero no me gustaría tocar el lorazepam porque duermo bastante bien desde que lo tomo.