Desconozco si habrá algún método directo, si lo hay imagino que lo tendrás en el libro. Lo que voy a hacer tiene alguna dificultad y es largo
Primero descomponemos 504 en factores primos
$$\begin{align}&504 | 2\\ &252 | 2\\ &126 | 2\\ & 63 | 3\\ & 21 | 3\\ & 7 | 7\\ & 1\end{align}$$
504 = 2^3 · 3^2 · 7
Tanto a como b se tendrán que expresar como producto de esos factores primos con a lo máximo esos exponentes. Además a, b o ambos tendrán que tener el máximo exponente para cada factor primo. De no ser así el mcm sería menor.
Por otra parte nos dicen que el resto de a/b es 20
Hay una propiedad del máximo común divisor que dice
mcd(a, b) = mcd(b, resto de a/b)
Luego mcd(a, b) = mcd(20, b)
Dado que
b = 2^n · 3^m · 7^j
20 = 2^2 · 5
mcd(b,20) = 1, 2 o 4
Luego mcd(a,b)=1, 2 o 4
Por otra parte, si el resto es 20 se cumple b > 20
Y también se cumple a>b porque si no el resto sería a y a no puede ser 20
Examinemos los casos.
i) Si mcd(a,b) = 1
Entonces a o b toman un factor primo con su exponente máximo y el otro no toma ese factor primo
Para ser b>0 debe ser
b = 2^3·3^2= 72
a= 7
b = 2^3·7 = 56
a = 3^2 = 9
b=3^2·7= 63
a=2^3 = 8
Pero en todos estos casos b>a y el resto es a que nunca es 20.
ii) Si mcd(a,b) = 2
No añadimos nada ya que b tendrá que tomar el factor 2^3 y otro o el factor 2 y otros dos con exponente máximo. Y lo hagamos como lo hagamos el valor de a va a ser menor que b
iii) Si mcd(a,b) = 4
Uno de los dos tiene el factor 2^2 y el otro 2^3.
Aquí ya se añade algo nuevo porque b con 2^2 y otro factor ya puede ser mayor de 20. Vemos los casos:
b=2^2·7 = 28
a=2^3·3^2 = 72
72 / 28 = 2 y resto 16
b=2^2·3^2 = 36
a=2^3·7 = 56
¡Eureka!
Esa es la respuesta
a= 56 y b = 36
Y eso es todo, espero que te sirva y lo hayas entendido. Dime que estudias por favor, para saber a que curso o carrera pertenece un problema de este tipo. Yo lo veo complicado para ser de colegio. Y si no es complicado, laborioso cuanto menos.