Como se resuelve esta ecuación matricial

Esa respuesta no es verdadera. La única respuesta es X=0. Siendo 0 la matriz nula del orden nxn que sea.

Y solo puede ser la matriz nula porque si consideras las matrices 1x1 tendrás una ecuación normal en el cuerpo base que es conmutativo para el producto

5x + xa = xb

5x + xa - xb = 0

x(5+a-b) = 0

Al ser un cuerpo un dominio de integridad esa operación solo es posible si

x=0 ó 5+a-b=0

pero 5+a-b no tiene porque ser 0 y para los casos en que no los sea tendrá que ser

x=0

Además en esa respuesta que pusiste estas suponiendo que las matrices sean regulares. Tampoco entiendo si es la inversa solo del segundo factor o de todo el producto. En cualquier caso esa respuesta no cumple la ecuación.

$$\begin{align}&Si \;X=B(4I+A)^{-1}\\ &\\ &\\ &\\ &\\ &5B(4I+A)^{-1}+B(4I+A)^{-1}A=B(4I+A)^{-1}B\\ &\\ &\text{multiplicando a izquierdas por } X^{-1}=(4I+A)B^{-1}\\ &5I+A =B\\ &\text{que no tiene porque ser verdad}\\ &\\ &\\ &\text{Y si fuese }X=[B(4I+A)]^{-1}=(4I+A)^{-1}B^{-1}\\ &\\ &5(4I+A)^{-1}B^{-1}+(4I+A)^{-1}B^{-1}A=(4I+A)^{-1}B^{-1}B\\ &\\ &\text{Multiplicando a izquierdas por }B(4I+A)\\ &5I +A=B\\ &\text{que no tiene porque ser cierto}\end{align}$$

Luego esa no es la respuesta, la respuesta es X=matriz nula como te decía. Revisa el enunciado para ver si está bien, y si es ese la respuesta es la que te he dicho.