Los numeradores o denominadores con más de un término deben ir encerrados entre paréntesis. Si no, el lector puede tomarlos de la longitud que quiera, y es más, su obligación es tomarlos de longitud un término salvo que aparezcan paréntesis.
Confírmame cuáles son las expresiones buenas:
$$\begin{align}&1)\quad a =\frac{1}{\sqrt{12}}-1\\ &\\ &2)\quad a= \frac{1}{\sqrt{12}-1}\\ &\\ &3) \quad b= \frac 11+2 \sqrt 3\\ &\\ &4) \quad b = \frac{1}{1+2 \sqrt 3}\end{align}$$
Las que has escrito son la 1 y la 3, pero creo que has querido poner la 2 y 4. Tendrías que haber escrito:
a= 1 / [sqrt(12) -1] y b= 1 / [1+(2·sqrt(3)]
El sqrt() es la forma internacional de la raíz cuadrada, imprescindible usarlo para gran cantidad de programas de cálculo y gráficas.