Poco apetito sexual

Buenas noches, llevo 3 años y medio con mi pareja y desde el principio ha sido siempre igual, no le gusta el sexo, al menos es lo que me comenta, en un año podemos hacer el amor unas 10-15 veces como mucho, siempre cuando nos vamos de viaje, en navidad, semana santa, verano..., vivimo con nuestros padres aun, el tiene 27 años y yo 28
Siempre soy yo la que toma la iniciativa, y siempre que quiero dice que no, excepto esas 10-15 veces contadas, yo intento hablarlo con el y le pregunto que si tiene algún problema, si es que no le atraigo, y el siempre contesta lo mismo, que si que le gusto mucho que si siempre que le toco se "pone" pero que el sexo no le llama, no le gusta, se pone mal cuando toco el tema, porque dice que me esta defraudando y que al final m iré con otro pero no hace nada por solucionarlo
Se que no es por mi, con su ex novia que llevaba 7 años tampoco lo hacia, me lo confeso ella, y palabras textuales me dijo que una semana después de dejarlo con el había hecho el amor más veces que en 7 años con el
No se que hacer ya, porque lo quiero pero me gustaría tener más sexo con el, muchas veces pienso que tiene un problema de autoestima, porque por ejemplo no quiere ir a un centro comercial un sábado porque dice que hay mucha gente y siente que lo miran y se ríen de el por ser feo( que para mi y para la gente que lo conoce no es así), no quería ir a la playa por lo mismo hasta que poco a poco se ha acostumbrado, no quería ponerse pantalones cortos ni bermudas porque no le gustan sus piernas ni su cuerpo.
No se, ojala supiera que siente o piensa y si tiene algún problema, pero no lo quiere contar, ademas si pregunto se enfada muchísimo, y tampoco se deja ayudar porque le he comentado mil veces de ir a un psicólogo o sexólogo
si pudieras ayudarme para saber como enfocar el tema y como ayudarlo y ayudarme a mi también lo agradecería
Muchas gracias, un saludo