Baño y armarios empotrados huelen humedad

Vivimos en un adosado y el baño de nuestro dormitorio principal da a 3 paredes exteriores y otra es por donde se entra al baño desde la habitación de matrimonio, por un pasillo que tiene a cada lado un armario empotrado. Estos armarios también dan las paredes al exterior, se forraron hacen unos 9 años porque salia moho en la ropa. Por desconocimiento no se le puso ningún tipo de aislante. El otro día saqué un cinturón lleno de moho. Resto de la ropa no tiene pero huele raro. El baño hemos dejado de usarlo, sólo lo usamos cuando tenemos visita, para estar más cómodos.
No parece que tenga cámara.
La habitación es la única de la casa donde yo noto un olor raro cuando entro. No se si es humedad, condensación o yo que sé. Ventilo todos los días en ivierno. Y el baño tiene una ventana oscilo-batiente también.

En los altillos tenia ropa en cajas de plástico y este invierno al sacar una, la ropa al tacto estaba como mojada, pero sin moho.
¿Qué nos aconsejáis que hagamos?

Queremos darle una solución este verano, porque no me gusta dormir en una habitación con humedad.

El año pasado aislamos toda la terraza de arriba con 8mm de XPS, recomendados por un experto de esta web llamado arquiarqui. Hemos notado mejoría, ya no hace tanto frio, ni tanto calor.