La que hay que hacer es calcular las derivadas y comprobar.
$$\begin{align}&y=ae^{2x} cosx + be^{2x} sen x\\ &y=e^{2x}(acosx+bsenx)\\ &\\ &y´=2e^{2x}(acosx+bsenx)+e^{2x}(-asenx+bcosx)\\ &y´=e^{2x}[(2a+b)cosx+(2b-a)senx]\\ &\\ &y´´=2e^{2x}[(2a+b)cosx+(2b-a)senx]+\\ &\quad\quad\;\; e^{2x}[-(2a+b)senx+(2b-a)cosx]=\\ &\\ &e^{2x}[(3a+4b)cosx+(3b-4a)senx]\\ &\\ &\text{Y ahora calculamos}\\ &f´´(x)-4f´(x)+f(x)=\\ &\\ &e^{2x}[(3a+4b)cosx+(3b-4a)senx]-\\ &4e^{2x}[(2a+b)cosx+(2b-a)senx]+\\ &e^{2x}(acosx+bsenx)=\\ &\\ &e^{2x}[cosx(3a+4b-8a-4b+a)+senx(3b-4a-8b+4a+b)]=\\ &\\ &e^{2x}(-4acosx-4bcosx)=\\ &\\ &-4e^{2x}(acosx+bcosx)\end{align}$$
Pues no es verdad lo que dicen, lo he revisado varias veces y efectuado con ordenador y la respuesta es esa
La expresión que podría ser cero es esta
f ''(x) - 4 f '(x) + 5f(x) = 0
Y eso es todo, en cada pregunta debe ir ejercicio, máxime cuando no son sencillos o llevan bastante trabajo.
Mándame el segundo en otra pregunta. ¿Quieres decir el producto de las funciones?
(f1·f2·.. fn)'(xo)
En matemáticas donde se usan equis no se puede usar el signo por para multiplicar, se confunden.