Si tu haces esas operaciones que escribiste al principio en una calculadora te haría exactamente lo que puse como opción a.
Para que hiciese lo que dices ahora, tendrías que haber escrito esto:
{[(a-b)/(3h)]^2 - 5/3} / 2 = 1
Uso corchetes y llaves para que quede más claro
Y escrito con el editor es esto
$$\begin{align}&\frac{\left ( \frac{a-b}{3h} \right )^2 -\frac{5}{3}}{2} = 1\\ &\\ &\text {pasamos el 2 multiplicando}\\ &\\ &\\ &\left ( \frac{a-b}{3h} \right )^2 -\frac{5}{3}=2\\ &\\ &\\ &\text {el 5/3 sumando}\\ &\\ &\\ &\left ( \frac{a-b}{3h} \right )^2 =2+\frac{5}{3}\\ &\\ &\\ &\left ( \frac{a-b}{3h} \right )^2 =\frac{6+5}{3}\\ &\\ &\\ &\left ( \frac{a-b}{3h} \right )^2 =\frac{11}{3}\\ &\\ &\text {extraemos la raiz cuadrada}\\ &\\ &\\ &\frac{a-b}{3h}= \sqrt{\frac{11}{3}}\\ &\\ &\\ &\text{el 3h pasa multiplicando}\\ &\\ &\\ &a-b= 3h \sqrt{\frac{11}{3}}\\ &\\ &\\ &\text{y el a restando}\\ &\\ &\\ &-b= 3h \sqrt{\frac{11}{3}} -a\\ &\\ &\\ &\text{Multiplicamos por -1}\\ &\\ &\\ &b= a-3h \sqrt{\frac{11}{3}}\\ &\\ &\\ &\text{Final mente metemos el 3 dentro de la raíz}\\ &\\ &\\ &\\ &b= a-h \sqrt{\frac{9·11}{3}}\\ &\\ &\\ &b= a-h \sqrt{33}\\ &\\ &\\ &\\ &\\ &\end{align}$$
Y eso es todo.