¿Es pura fantasía?

Quisiera comentarte un tema que me preocupa relacionado con mi sexualidad y la de mi pareja.
Llevamos juntos casi un año y hace unos días, hace poco, me comentó que cuando se masturba, a menudo recurre a fantasías sexuales. Hasta aquí me pareció normal todo, por dos razones; primera porque no convivimos y por tanto, es normal que al pasar días sin vernos le apetezca autosatisfacerse, también a mí, y segundo, porque opino que la fantasía sexual no es otra cosa que una recreación mental de una situación que en un momento dado te pueda excitar, de manera tal vez inconsciente incluso. Lo que me afectó fue saber que también lo hace pensando en otras mujeres; se imagina que "folla" con otras, y no sé si estas otras son mujeres famosas del mundo del cine o de la moda, o mujeres con que se cruce por la calle (que esto último sí sé que ha sido en algún caso) o incluso que pueda ser la vecina de arriba, no he querido indagar tanto. Le hice ver que me parecía una falta de respeto hacia mí extremar de esa manera sus fantasías sexuales, o incluso masturbarse deliberadamente pensando en otras. Su respuesta fue que es algo corriente en todos los hombres y que le parecería de lo más normal que yo le contara lo mismo de mí. Dijo que estoy bastante mal informada y que debo "leer más".
Lo cierto es que en la cama disfrutamos siempre cuando estamos juntos, tenemos muy buen sexo y le excita mucho mi cuerpo. También tenemos claro lo que queremos uno del otro y la fidelidad para ambos es un compromiso en toda regla. Pero me hace sentir mal el hecho de que no ponga límites a su imaginación, de que no sienta, por así decirlo, cierta "vergüenza moral" al imaginarse a sí mismo "follándose" a una tía de carne y hueso, sabiendo que mantiene una relación conmigo. Me da miedo que estas fantasías pueda llevárselas a la cama algún día cuando nos acostemos, y que vea a esas otras en lugar de verme a mí a su lado. Y a parte, me siento traicionada de algún modo, pues yo no siento necesidad de pensar en otros hombres ahora que tengo una sexualidad plena, como la que él también asegura tener, cosa de la que yo no he dudado hasta que he sabido esto.
¿Cómo debo actuar? No puedo censurar su mente pero tampoco me siento bien así. Estoy empezando a pensar que los días que no nos vemos y me llama por teléfono antes de acostarse para dar las buenas noches o decirme "te quiero" va a ir después a masturbarse mientras recrea un acto sexual en el que participa otra que no soy yo con él. No sé si esto resulta o no ridículo, pero, si soy sincera, me hace daño.
Me gustaría tener una opinión profesional sobre este tema; deseo saber si cree que hay alguna posibilidad real de hablar de esto con la pareja, ya le hice ver que me desagradaba y me dijo que no es algo que vaya a controlar porque "no puede" y es totalmente privado (es decir, algo así como un tema en que yo no debo meterme). ¿Soy yo la que tiene un problema, poniendo límite a lo que considero que debe ser fantasía y lo que supera ese umbral, o por el contrario es normal que un hombre que se siente atraído y satisfecho con su pareja necesite recurrir a este tipo de situaciones imaginarias para masturbarse? ¿Es manipulador intentar hacerle ver que me hace sentir mal imaginármelo en plena masturbación con una mujer diferente a mí haciéndole disfrutar en la cama? ¿Cómo puedo solucionar el desagrado que me causa esto?