No conocía este libro del Álgebra de Baldor.
Te envío un enlace con ejercicios resueltos del Algebra de Baldor.
Yo este lo haría considerándolo como un polinomio de 2º grado en a, y buscando sus raíces con la fórmula de la ecuación de 2º grado:
$$\begin{align}&7ab-2a^2-3b^2=\\ &-2a^2+7ba-3b^2=P(a)\\ &La \ variable \ es \ a\\ &Luego \ los \ coeficientes \ de \ la \ ecuación \ de \ 2º grado \ son\\ &Ax^2+Bx+C=0\\ &\\ &A=-2a\\ &B=7b\\ &C=-3b^2\\ &x=a\\ &\\ &a=\frac{-7b\pm\sqrt{49b^2-24b^2}}{-4}=\frac{-7b\pm\sqrt{25b^2}}{-4}=\\ &\\ &\frac{-7b\pm5b}{-4}=\\ &a_1=\frac{-2b}{-4}=\frac{b}{2}\\ &\\ &a_2=\frac{-12b}{-4}=3b\\ &\\ &Luego \ se \ factoriza \ como \ -2(a-\frac{b}{2})(a-3b)\\ &\\ &\end{align}$$
Recuerda que un polinomio de 2º grado Ax^2+Bx+C se factoriza como
A(x-r)(x-s)
Donde r y es son las raíces del polinomio.