$$\begin{align}&\int tg^2x·secx\;dx=\\ &\\ &\int \frac{sen^2x}{\cos^2x}·\frac{1}{cosx}dx=\\ &\\ &\int{\frac{sen^2x\,dx}{\cos^3x}}\end{align}$$
Pues parece de las peores. En las que hay que hacer este cambio complicado
$$\begin{align}&tg(x/2)=t\\ &\\ &\text{y tendrás la teoría que dice}\\ &\\ &senx=\frac{2t}{1+t^2}\quad cosx=\frac{1-t^2}{1+t^2}\\ &\\ &dx=\frac{2dt}{1+t^2}\\ &\\ &\end{align}$$
Con este cambio la integral queda así:
$$\int \frac{\left( \frac{2t}{1+t^2} \right)^2 \frac{2dt}{1+t^2}}{\left(\frac{1-t^2}{1+t^2} \right)^3}=\int \frac{8t^2dt}{(1-t^2)^3}=$$
Yo creo que es la primera vez en la vida que tengo ante mi una integral racional con denominador de grado 6 e incluso raíces múltiples. Sabes que eso se tiene que resolver con un sistema de seis ecuaciones con 6 incógnitas que aparte son muy difíciles de plantear.
Yo creo que la integral está fuera de lugar, habría que asegurarse bien del enunciado. Si acaso dime que tipo de integral es si lo dicen o el cambio que hay que hacer. Espera que pruebo con otro
$$\begin{align}&t=tgx\\ &\\ &\text{y la teoría dice}\\ &\\ &\cos^2x=\frac{1}{1+t^2}\quad sen^2x=\frac{t^2}{1+t^2}\\ &\\ &dx=\frac{dt}{1+t^2}\\ &\\ &\text{con ello queda}\\ &\\ &\int \frac{\frac{t^2}{1+t^2}·\frac{dt}{1+t^2}}{\frac{1}{1+t^2}\sqrt{\frac{1}{1+t^2}}}=\\ &\\ &\int \frac{t^2dt}{\sqrt{1+t^2}}\end{align}$$
Pues no es de lo más popular, pero la función seno hiperbólico
Shx
Tiene una inversa llamada argumento del seno hiperbólico
Argshx
Y sucede que la derivada es esta
(argshx)' = 1/sqrt(1+x^2)
Con ello se impone este cambio.
$$\begin{align}&z=argsh\,t \implies t =sh\,z\\ &\\ &dz=\frac{dt}{\sqrt{1+t^2}}\\ &\\ &\int sh^2zdz =\int \left(\frac{e^z-e^{-z}}{2} \right)^2dz=\\ &\\ &\int \left( \frac{e^{2z}}{4}+\frac{e^{-2z}}{4}-\frac 12 \right)dz=\\ &\\ &\frac 14\left(\frac{e^{2z}-e^{-2z}}{2}\right)-\frac z2=\\ &\\ &\frac 14sh(2z)-\frac z2=\\ &\\ &\frac 14(2shz·chz)-\frac z2=\\ &\\ &\frac {shz·chz- z}{2}=\\ &\\ &\frac {t \sqrt{1+t^2}-argsh\,t}{2}=\end{align}$$
Y la teoría dice también cual es la representación del argshx
$$\begin{align}&\frac {t \sqrt{1+t^2}-ln(t+\sqrt{1+t^2})}{2}=\\ &\\ &\\ &\frac {tgx \sqrt{1+tg^2x}-ln(tgx+\sqrt{1+tg^2x})}{2}=\\ &\\ &\text{Se puede ver que }\sqrt{1+tg^2x}=\frac{1}{cosx}\\ &\\ &\\ &=\frac {\frac{senx}{\cos^2x}-ln(\frac{senx}{cosx}+\frac{1}{cosx})}{2}=\\ &\\ &\frac 12\left(\frac{senx}{\cos^2x}-ln(1+senx)+ln(cosx)\right)+C\\ &\end{align}$$
Y la he comprobado a mano porque el programa no llegaba a simplificar hasta la original y está bien.
Y eso es todo, pero yo creo que se han pasado, tampoco sé lo que te han enseñado.