Ayuda con matrices

Veo que ya te han respondido perfectamente la pregunta en el tablón así que para no repetir los mismo, vamos a resolverlo de otra manera.
Las matrices cumplen casi todas las propiedades de los números salvo una muy importante, la conmutativa, con lo que A*B no tiene que ser igual a B*A en general ( esto por ejemplo nos impide definir una división entre matrices).
Debido a esto, el producto notable (a+b)^2=a^2+2*a*b+b^2 no es cierto en general con matrices, pues
(A+B)^2=(A+B)*(A+B)=A*A+A*B+B*A+B*B=A^2+A*B+B*A+B^2
En nuestro caso, como queremos
(A+B)^2=A^2+B^2
A^2+A*B+B*A+B^2=A^2+B^2
A*B+B*A=0
Entonces nos queda que
A*B=-B*A
A*B=[p+2,-p-1;q+2,-q-1]
B*A=[p-q,0;2p-q,1]
luego
p+2=q-p
-p-1=0-->p=-1
q+2=q-2p
-q-1=-1-->q=0
se cumplen las cuatro ecuaciones con p=-1, q=0, con lo cual el problema tiene solución

Haré lo mismo que tu (el ";" significará otra fila) dadas las limitaciones de este editor. Luego te sugiero lo hagas en papel.
Debe ser fácil para ti ver que
A+B=(p+1,0;q+2,0)
Elevarlo al cuadrado será multiplicar (A+B)(A+B) de ahí que
(A+B)^2=((p+1)^2,0;(q+2)(p+1),0) (le llamo 1)
Así mismo
A^2=((p^2+q),(p+1);(pq+q),(q+1))
Y
B^2=(-1,0;0,-1) de donde
A^2+B^2=((p^2+q-1),(p+1);(pq+q),q) (le llamo 2)
Igualando lo que le llamé 1 y lo que le llamé dos:
Es evidente que q=0 y como p+1=0, entonce p=-1.
Y resuelto el problema, no tengas pena en preguntarme cualquier otra cosa.