El ultimo paso no lo diste bien, queda así:
1 2 x
0 -3 y-2x
0 0 z-3x-(5/3)(y-2x)
Y el determinante sería
-3[z-3x - 5y/3 + 10x/3] = 0
-3z + 9x + 5y -10x = 0
-x+5y -3z = 0
Que es la ecuación de un plano que pasa por (0,0,0)
El producto mixto de tres vectores, que es el producto escalar del primero por el vector que es el producto vectorial de los segundos y todo ello igualado a cero se corresponde con la ecuación de un plano. Ya que los vectores del plano tienen producto escalar cero con el vector director del plano y el vector director se ha creado como producto vectorial de dos vectores del plano.
Y el producto mixto de tres vectores es el determinante de ellos, lo mismo da que se pongan el filas que en columnas porque el determinante es el mismo. Luego sí, la operación que has hecho con ese determinante sirve para calcular la ecuación del plano generado por esos dos vectores.
Y eso es todo.