Fabiola, a partir de lo que hiciste (lo más complicado), a partir de ahí tienes que para que sea 0, entonces cada uno de esos elementos debe ser 0, o sea
a^2 + bc = 0
ca + dc = 0
ab + bd = 0
bc + d^2 = 0
Tienes un sistema de 4 ecuaciones con 4 incógnitas, (aunque no es lineal), por lo que deberías poder despejar os valores...
Por ejemplo si restamos la primera y la cuarta tenemos
a^2 - d^2 = 0 por lo tanto a = +/- d
Se dividen 2 posibilidades
Si a= + d
reemplazo en la segunda y la tercera
ca + ac = 0 --> 2ac = 0 --> a = 0 o c = 0
ab + ba = 0 --> 2ab = 0 --> a = 0 o b = 0
En las anteriores deberías seguir separando los casos:
Si a= - d
reemplazo en la segunda y la tercera
ca - ac = 0 --> ac = ac --> no aportan nada a la solución
ab - ba = 0 --> ab = ab --> no aportan nada a la solución
Por lo que te queda a = d, y deberías seguir viendo que pasa con las distintas posibilidades que quedaron planteadas más arriba
Salu2