Bueno no hay que preocuparse. No todo el mundo conoce las reglas de preferencia de ejecución de las operaciones. Las sabemos más bien los informáticos, ya que al ordenador sigue estas reglas al pie de la letra y tienes que tener mucho cuidado de escribirlas bien. Es probable que el profesor ni las conozca y luego haga la operación como le dé la gana.
Empiezo por el caso b) que yo creo es el adecuado para un nivel no muy alto de estudios.
$$\begin{align}&b)\quad \left[\left(\frac{5-3x}{1-2x}-(4+x)\right)\div \frac{2x^2-6x-1}{2x-1} \right]^2=\\ &\\ &\\ &\left[\frac{5-3x-(4+x)(1-2x)}{1-2x}\div \frac{2x^2-6x-1}{2x-1} \right]^2=\\ &\\ &\\ &\\ &\left[\frac{5-3x-4+8x-x+2x^2}{1-2x}\div \frac{2x^2-6x-1}{2x-1} \right]^2 =\\ &\\ &\\ &\left[ \frac{(2x^2+4x+1)(2x-1)}{(2x^2-6x-1)(1-2x)} \right]^2=\\ &\\ &\\ &\left[ -\frac{2x^2+4x+1}{2x^2-6x-1} \right]^2=\\ &\\ &\\ &\left[\frac{2x^2+4x+1}{2x^2-6x-1} \right]^2=\end{align}$$
No tiene la pinta de que se pueda simplificar, pero vamos a ver si tienen alguna raíz común
$$\begin{align}&x_n=\frac{-4\pm \sqrt{16-8}}{4}= -1\pm \frac{\sqrt 2}{2}\\ &\\ &\\ &x_d=\frac{6\pm \sqrt{36+8}}{4}= \frac 32\pm \frac{\sqrt{11}}{2}\end{align}$$
No hay comunes entre xn y xd, si quieres lo puedes comprobar con la calculadora.
Y finalmente calculamos los cuadrados con la fórmula
(a+b+c)^2 = a^2 + b^2 + c^2 + 2ab + 2ac + 2bc
$$\begin{align}&\left[\frac{2x^2+4x+1}{2x^2-6x-1} \right]^2=\\ &\\ &\\ &\frac{4x^4+16x^2+1 + 16x^3+4x^2+8x}{4x^4+ 36x^2+1- 24x^3-4x^2+12x}=\\ &\\ &\\ &\frac{4x^4+16x^3+20x^2+8x+1 }{4x^4- 24x^3+ 32x^2+12x+1}\end{align}$$
Y esta sería la respuesta del b) aun ha llevada trabajo, sobre todo por lo complicado que es escribir con el editor de fórmulas.
Si acaso quieres la respuesta del a) mándame el ejercicio en otra pregunta nueva por favor. Además ahora mismo tengo que dejar el ordenador por bastante rato.