Para la segunda, si sabes cómo escribirlo en forma matricial puedes reducirla y ver que no tiene solución. Si no te lo han enseñado puedes hacer lo siguiente: Normalmente sabes que si tienes 2ecs y 2incognitas tienes solución. Bueno elige dos de esas 3 ecuaciones (da igual cuales) y calcula los valores de x e y. Tienes que comprobar si dichos valores también cumplen la 3ra ecuación (que no lo hará), por tanto no hay solución.
Para la primera te recomiendo usar la segunda expresión. Pasa los denominadores al otro lado y simplificando te quedaría x(a-b)^2=y(a+b)^2. Despeja digamos x de esta y la sustituyes en la primera. Luego de simplificar un poco, sacando factor común etc. Te dará y=(a-b)^2 , x= (a+b)^2