Esta ya es más complicada
Vamos a arreglar la primera
17(x^2+y^2) +50xy -168 = 0
Sustituimos x^2+y^2 por el valor que nos dan en la segunda ecuación
17·4 + 50xy -168 =0
68 + 50xy =168
50xy = 100
xy = 2
Ahora despejamos x
x = 2/y
Y vamos a la segunda ecuación
(2/y)^2 + y^2 = 4
4/y^2 + y^2 = 4
multiplicamos por y^2
4 + y^4 = 4y
y^4 - 4y + 4 = 0
Vemos que esto es un cuadrado perfecto
(y^2 -2)^2 = 0
y^2 - 2 = 0
y^2 = 2
y = +- sqrt(2)
con lo cual
x = 2/y = +- 2/sqrt(2) = +-sqrt(2)
Luego hay dos soluciones
x = y = sqrt(2)
x= y = -sqrt(2)
Y eso es todo.