No nos dicen si los mosaicos son cuadrados o rectángulos.
Si son cuadrados es sencillo. Sea x la longitud del lado
1500x^2 = 960(x+5)^2
1500x^2 = 960(x^2 + 10x + 25)
1500x^2 = 960x^2 + 9600x + 24000
540x^2 - 9600x - 24000 = 0
Se puede dividir todo por 60 para dejar números más pequeños.
9x^2 - 160x - 400 = 0
$$\begin{align}&x=\frac{160\pm \sqrt{25600+14400}}{18}=\\ &\\ &\frac{160\pm \sqrt{40000}}{18}=\frac{160\pm 200}{18}=\\ &\\ &-\frac{40}{18}\;y \;20\end{align}$$
Luego miden 20 cm de lado.
El caso de que tuvieran medidas distintas de largo y ancho creo que es muy complicado y pienso que lo que te piden es la respuesta que te di.
Y eso es todo.