Determinar los valores de a y b de la matriz

Pues no tenemos más que hacer el producto A·A

$$A·A =
\begin{pmatrix}
2&-1\\
a&b
\end{pmatrix}·
\begin{pmatrix}
2&-1\\
a&b
\end{pmatrix}=
\begin{pmatrix}
4-a&-2-b\\
2a+ab&-a+b^2
\end{pmatrix}$$

Y ya te anticipo que es imposible

Del primer elemento se deduce

4-a = 2 ==> a=2

Del segundo de la primera fila

-2-b = -1 ==> b =-1

Vamos con esto a la segunda fila para ver si lo cumplen

2a+ab = 4-2 = 2 = a bien

-a+b^2 = -2 +(-1)^2 = -1 = b bien

Luego se cumple la igualdad par los cuatro elementos de la matriz, asi que la respuesta es

a=2

b=-1

Y eso es todo.