No está bien cambiar el signo de las respuestas ni el buscar una alternativa que tenga signo positivo. Lo que está bien es resolver bien los problemas.
Y ahora paso a explicar como se resuelve bien este problema. No es el mismo problema si nos dicen halla la longitud de los lados de dos cuadrados que ..., que si nos dicen halla dos números tales que ... que si nos dicen halla las casillas de dos tableros de juego tales que ...
La parte principal de la resolución consiste en la hacer la misma ecuación, pero es que aparte de esa ecuación subyacen unas condiciones distintas en cada problema.
En los lados de los cuadrados la condición inicial es que las respuestas tienen que ser números reales positivos
En la de halla dos números no hay condición, pueden ser positivos, negativos e incluso complejos, que no se si habrás dado ya los números complejos.
Y en el problema del número de casillas del tablero la solución tiene que ser estrictamente un número natural, si no no hay solución.
Así, que una vez resuelta la ecuación hay que ver si las respuestas cumplen estas condiciones iniciales o no, y las respuestas que no las cumplen se tienen que desechar.
Vamos con el problema. Lo puedes plantear de dos formas:
a) Sea x la longitud del lado menor e y la del mayor
y = x+3
x^2 + y^2 = 89
x^2 + (x+3)^2= 89
x^2 + x^2 + 6x + 9 = 89
2x^2 + 6x - 80 = 0
x^2 + 3x - 40 = 0
x = [-3+-sqrt(9+160)]/2 = [-3+-sqrt(169)]/2 = (-3+-13)/2 = 5 y -8
La solución x=-8 no nos sirve, porque x debe ser positivo, luego se desecha y la única solución es
x=5
Y una vez calculado x calculamos y
y = x+3 = 5+3 = 8
Con lo que x=5, y=8 es la solución
b) Sea x la longitud del lado mayor
y = x-3
x^2 + y^2 = 89
x^2 + (x-3)^2 = 80
x^2 + x^2 - 6x + 9 = 89
2x^2 - 6x - 80 = 0
x^2 - 3x - 40 = 0
x = [3+-sqrt(9+160)]/2 = 8 y -5
La longitud x =-5 no cump`le las condiciones del problema, luego se desecha y la única solución es x = 8
Y ahora calculamos el valor de y
y = x-3 = 8-3 = 5
Con lo que x=8, y=5 es la solución.
Como ves la respuesta es la misma salvo por el nombre de los lados.
La confusión que tu has tenido es que pensabas tener las respuestas para x e y al resolver la ecuación de segundo grado. Pero no es así, cuando tu resuelves la ecuación de segundo grado solo estas buscando la respuesta para x, la respuesta de y no sale ahí sino que se calcula posteriormente sumando o restando 3 a la respuesta obtenida para x.
Y eso es todo, espero haber despejado tus duda, que no te de más problemas este tipo de ejercicio y si es posible que te sirva para otros ejercicios distintos.