La matriz A será
A b
C d
En esta página no se puede trabajar bien con matrices (ni siquiera con el editor de ecuaciones), pero haciendo A^2 quedará:
a^2+bc.........ab+bd
ac+cd...........bc+b^2
y te dice que todos estos elementos deben ser cero, así que tenemos:
0 = a^2+bc.....(1)
0 = ab+bd......(2)
0 = ac+cd.......(3)
0 = bc+b^2.....(4)
Restando (1) y (4)
0 = a^2 - b^2 Entonces a^2 = b^2.........(5)
Saco factor común en (2) y (3)
0 = b (a+d)......(2')
0 = c (a+d).......(3')
Sumo (2') y (3')
0 = (b+c) (a+d)..................b=-c O a=-d.........(6)
No veo otra simplificación que se pueda hacer, así que lo que queda es tomar las ecuaciones (5) y (6) y plantear las diferentes posibilidades para ver que se puede deducir (Voy a hacer 1 y te dejo las otras 3 posibilidades, ojo que la ecuación 5 en realidad plantea 2 ecuaciones por el tema de los signos)
Caso 1: (a = b)
0 = a^2 + ac = a (a+c).......a = 0 O a = -c
0 = a^2+ad = a (a+d)........a = 0 O a = -d
0 = ac+cd = c (a+d)...........c = 0 O a = -d
0 = ac+a^2 es la ecuación 1
Y se sigue abriendo en casos que deberías evaluar (aunque creo que en todos ellos vamos a llegar a la misma conclusión que ya llegaste y es que todos los elementos valen cero)