Antes que nada no podemos efectuar esa resta porque el primer número es menor que el segundo. Lo haremos al revés y tendrá resultado negativo.
La diferencia de la resta en el sistema decimal es que en vez de pedir diez al número siguiente se pide ocho cuando se necesita pedir. Por ejemplo en la columna del 0, 0 - 6 no se puede entonces a 0 le sume 8 y lo reste con 6 me da dos entonces el 2 queda en 1 porque presto al anterior, al uno se le suma 8 y queda en 9 - 7 da 2 y luego el 6 queda en 5 -3 es 2 y ahí termina. El resultado es 2221. Yo lo comprobé pasando ambos números a decimal y luego los reste y al pasar a decimal el resultado da igual.
6 2 0 5
-
3 7 6 4
--------------------------
2 2 2 1
Pasaje a decimal
6205 = 6 . 8^3 + 2 . 8^2 + 0 . 8 + 5 = 3205
3764 = 3 . 8^3 + 7. 8^2 + 6. 8 + 4 = 2036
3205 - 2036 = 1169
2221 = 2 . 8^3 + 2 . 8^2 + 8 . 2 + 1 = 1169