Permuta con hipoteca

Hola mamenhidalgo, ante todo muchas gracias por ayudar desinteresadamente a los demás.
Mi pregunta es sobre una permuta inmobiliaria, iba a exponer el caso a un experto en derecho pero mi duda es más bien sobre la hipoteca, te cuento:
Estamos pensando en hacer una permuta de nuestra vivienda por otra de inferior valor, ¿la nuestra cuesta 400.000? ¿Pero nos queda una hipoteca de 300.000?, hemos buscado una de menos precio para no ir tan agobiados con los pagos ya que no conseguimos vender. ¿La de la otra persona interesada cuesta 220.000? Y está libre de hipoteca, ¿por lo que hemos acordado el cambio de viviendas + una diferencia a nuestro favor de 180.000?.
El caso es que no sabemos como va el tema, ¿tendrían qué subrrogarse a nuestra hipoteca? ¿Si es así como les cancelamos los 120.000 restantes si no hay dinero por en medio para que a ellos les queden sólo los 180.000?
Perdona mi ignorancia pero es que por más que le doy vueltas y busco información no me termino de aclarar.
Muchas gracias y un saludo.