Tienes que realizar la derivada de una suma de productos. Vamos por partes, la derivada de la suma es la suma de las derivadas así que tenemos que hacer dos derivadas, cada una de ellas de un producto, y luego juntarlas. El primer término quedaría:
$$\begin{align}&3x^2 e^{4x} + 4x^3 e ^{4x}\end{align}$$
Y el segundo:
$$\begin{align}&2xe^{x^2} \cos (x^2)-2xe^{x^2}sen (x^2)\end{align}$$
ya lo juntas y si quieres lo operas un poco sacando una x:
$$\begin{align}&x.[3xe^{4x} +4x^2e^{4x} + 2 e^{x^2} \cos (x^2) - 2 e^{x^2} sen (x^2)]\end{align}$$