Lo que estás buscando es bajar el porcentaje de grasa de tu cuerpo.
Dos personas pueden pesar lo mismo y según el porcentaje de grasa, tener una apariencia muy diferente. (Te adjunto un ejemplo)
http://transformer.blogs.quo.es/2012/06/05/delgados-gordos/
Para perder grasa lo que la gente suele hacer son ejercicios aeróbicos ya que consigues "quemar calorías" mientras lo haces. Correr o nadar (salvo si haces sprints) son ejercicios aeróbicos.
Pero con largas sesiones aeróbicas, también acabas perdiendo músculo, con lo que puedes bajar peso pero no bajas, incluso puedes aumentar, tu porcentaje de grasa. ¿Por qué ocurre esto? (Entiendo es tu caso)
El cuerpo con ejercicios aeróbicos largos, se "especializa" (se vuelve más eficiente y se adapta para consumir menos energía para hacer ese ejercicio) y por otro lado, salvo que lo fuercen, intentará no perder la grasa que tiene como energía de reserva, en previsión de épocas de "hambruna". Así que si tiene que escoger entre quemar grasa o consumir unos músculos que no usas demasiado, decidirá que puede prescindir del músculo que no usas y se quedará con la grasa.
Para cambiar esto, lo que has de hacer son ejercicos que le indiquen al cuerpo que queme grasa pero no músculos porque son necesarios. Estos ejercicios son típicamente pesas.
Con ejercicios de pesas (también pueden ser de calistenia,..) le envías el mensaje al cuerpo de que necesitas músculo para sobrevivir (el cuerpo no sabe si estás levantando pesas o peleando con un león para que no te devore), pero sí sabe que el músculo pareces necesitarlo para algo. De esa forma usará el otro combustible disponible (es decir la grasa).
Generar músculo con una dieta como la que tienes, que entiendo es normocalórica, es algo complicado. Normalmente o te enfocas a perder grasa (perder algo de músculo, es inevitable pero se puede minimizar) con dietas hipocalóricas, o generas músculo con una dieta hipercalórica.
Pero se puede hacer.
Lo que seguro has de hacer es estresar a tus músculos para obligarles a crecer y que el cuerpo no use la proteina de tus músculos como combustible. Si no lo haces, y continuas con ejercicios aeróbicos de mucha duración, cada vez perderás más músculos (sólo mantendrás los que necesites para nadar) y si mantienes tu peso, los kilos de músculo que pierdas, se habrán transformado en kilos de grasa. Tu porcentaje de grasa habrá aumentado, tendrás que reducir las calorías que consumes para no "engordar" ya que la grasa corporal necesita de menos energía para mantenerse que los músculos,... y continuará el ciclo vicioso a peor.
Asi que, sí, haz pesas
Escoge ejercicios de cuerpo entero, y sigue una rutina (hay muchas por la red, tipo 5x5, 5x3x1 que vaya intensificando progresivamente las cargas/repeticiones/.. que utilices para evitar que el cuerpo "se acostumbre" y deje de crecer.