Pues no he respondido bien la pregunta. Yo he tomado como definición de ortogonal una de las consecuencias de la definición y no la definición misma. Por definición es ortogonal si y solo si A^t·A=I o si A^t=A^-1 que de las dos formas lo he visto.
Y una de las consecuencias es que los vectores columna forman un sistema ortonormal que es lo que yo tome por definición. Seguro que cuando le dieron importancia a estas matrices fue por lo del sistema ortonormal pero prefierieron definirlo de la otra forma.
Entonces si el problema te pedía demostrar que las matrices ortonormales tienen determinante 1 o - 1, y tú lo que pusiste fue un ejemplo, eso no sirve como demostración.
La demostración sería así, partes de tu definición de ortonormal que es
A^t = A^-1
multiplicas por A a la derecha o a la izquierda daría igual
A^t · A = A^-1·A = I
|A^t·A | = |I| = 1
el determinante dle producto es el producto de los determinantes
|A^t|·|A| = 1
El determinante de la transpuesta es el mismo que el de la matriz
|A|^2 = 1
|A| = 1 ó -1