Desarrollamos el binomio de la primera y le restamos la segunda
a^2 + b^2 + 2ab = 2304
-a^2 - b^2 =-1250
2ab = 1054
a =1054/(2b) = 527/b
sustituimos esto en la segunda
(527/b)^2 + b^2 = 1250
277729 / b^2 + b^2 = 1250
Multiplicamos todo por b^2 ya que b^2 no puede ser 0, habría contradicción en las ecuaciones si lo fuese.
277729 + b^4 = 1250 b^2
b^4 - 1250b^2 + 277729 = 0
Es una ecuación bicuadrada, se resuelve como una cuadrática con incógnita b^2
$$\begin{align}&b^2 = \frac{1250\pm \sqrt{1250^2-4·277729}}{2}=\\ &\\ &\frac{1250\pm \sqrt{1562500-1110916}}{2}=\\ &\\ &\frac{1250\pm \sqrt{451584}}{2}=\\ &\\ &\frac{1250\pm{672}}{2}= 289\; y\; 961\end{align}$$
Entonces b es la raíz cuadrada de lo hallado y tenemos estas cuatro respuestas :
b = -17, 17, -31 y 31
Y los respectivos valores de a se calculan a partir de a = 527 / b
a = -31, 31, -17 y 17
Vamos a ponerlo de otra forma
a=-17; b=-31
a=17; b=31
a=-31; b=-17
a=31; b=17
Y eso es todo.