Ayuda con matrices

Haré lo mismo que tu (el ";" significará otra fila) dadas las limitaciones de este editor. Luego te sugiero lo hagas en papel.
Debe ser fácil para ti ver que
A+B=(p+1,0;q+2,0)
Elevarlo al cuadrado será multiplicar (A+B)(A+B) de ahí que
(A+B)^2=((p+1)^2,0;(q+2)(p+1),0) (le llamo 1)
Así mismo
A^2=((p^2+q),(p+1);(pq+q),(q+1))
Y
B^2=(-1,0;0,-1) de donde
A^2+B^2=((p^2+q-1),(p+1);(pq+q),q) (le llamo 2)
Igualando lo que le llamé 1 y lo que le llamé dos:
Es evidente que q=0 y como p+1=0, entonce p=-1.
Y resuelto el problema, no tengas pena en preguntarme cualquier otra cosa.

Veo que ya te han respondido perfectamente la pregunta en el tablón así que para no repetir los mismo, vamos a resolverlo de otra manera.
Las matrices cumplen casi todas las propiedades de los números salvo una muy importante, la conmutativa, con lo que A*B no tiene que ser igual a B*A en general ( esto por ejemplo nos impide definir una división entre matrices).
Debido a esto, el producto notable (a+b)^2=a^2+2*a*b+b^2 no es cierto en general con matrices, pues
(A+B)^2=(A+B)*(A+B)=A*A+A*B+B*A+B*B=A^2+A*B+B*A+B^2
En nuestro caso, como queremos
(A+B)^2=A^2+B^2
A^2+A*B+B*A+B^2=A^2+B^2
A*B+B*A=0
Entonces nos queda que
A*B=-B*A
A*B=[p+2,-p-1;q+2,-q-1]
B*A=[p-q,0;2p-q,1]
luego
p+2=q-p
-p-1=0-->p=-1
q+2=q-2p
-q-1=-1-->q=0
se cumplen las cuatro ecuaciones con p=-1, q=0, con lo cual el problema tiene solución