La forma de la expresión hace pensar en un factor del la forma
(xa + yb) (za + tb) cuyo desarrollo sería
xza^2 + xtab +yzab + ytb^2 =
xz·a^2 + (xt+yz)ab + yt·b^2 Y si eso lo igualamos a nuestro ejercicio tenemos
xz·a^2 + (xt+yz)ab + yt·b^2 = a^2 + 4ab - 21b^2
luego
xz = 1
xt+yz = 4
yt = -21
Vamos a suponer que x, y, z, t son números enteros, aunque no tienen porque serlo.
Tomemos x=z=1
t+y = 4
yt = -21
Y se ve que los números t=7, y=-3 cumplen esas dos ecuaciones
Si no se ve se solucionan
t=4-y
y(4-y) = -21
4y - y^2 = -21
y^2 - 4y - 21 = 0
y = [4 +- sqrt(16+84)]/2 = [4+-sqrt(100)]/2 = (4+-10)/2 = 7 y -3
Y en el primera o segunda ecuación se calcula t
Si y = 7 ==> t=-3
Si y = -3 ==> t =7
Pues despues de todo tenemos que la descomposición pensada es
(xa+yb)(za+tb) = (a+7b)(a-3b)
Luego la factorización es
(a+7b)(a-3b)
No sé qué método te habrán enseñado para hacer este ejercicio. Yo como no lo sé, a lo mejor te he dicho uno más complicado de lo que te hayan enseñado, pero es que los métodos para factorizar no son de las cosas más normales y estudiadas.