Esta es una integral por partes, hay que acordarse de la fórmula
$$\int udv = uv -\int vdu$$
Luego el elegir la u y la dv se hace de modo primero que sepas integrar dv y que luego sepas integrar vdu. Con un poco de práctica se va aprendiendo. Aquí se ve que sabemos integrar x^2 y que al derivar el arcotangente va a quedar algo polinómico y ya veremos que tal se da. Luego será
$$\begin{align}&u=arctgx\quad\quad du = dx / (1+x^2)\\ &\\ &dv=x^2 dx \quad \quad v = \frac{x^3}{3}\\ &\\ &\frac{x^3arctgx}{3}-\frac 13\int{}{\frac{x^3dx}{1+x^2}}=\end{align}$$
Bueno, yo pensaba que sería más fácil, pero ha tocado un hueso.
Ahora tenemos que descomponer la función racional que hay en la integral en la suma de algo mas otra función racional pero tal que el grado del numerador sea menor que el del denominador. Haremos la división entera de polinomios
x^3 |x^2 + 1
---------
-x^3 -x x
----
0
El resto es -x. Podemos escribir
$$\begin{align}&\frac{x^3arctgx}{3}-\frac 13\int{x-\frac{xdx}{1+x^2}}=\\ &\\ &\\ &\frac{x^3arctgx}{3}-\frac 13 \frac{x^2}{2}+\frac 13\int \frac{xdx}{1+x^2}\\ &\\ &\text{Solo falta el 2 en el numerador para que sea la}\\ &\text{derivada del denominador y asi sea un logaritmo neperiano}\\ &\\ &\frac{x^3arctgx}{3}-\frac{x^2}{6}+\frac 13·\frac 12\int \frac{2xdx}{1+x^2}=\\ &\\ &\frac{x^3arctgx}{3}-\frac{x^2}{6}+\frac 16 ln(1+x^2)+C=\\ &\\ &\frac{2x^3arctgx+ln(x^2+1)-x^2}{6}+C\\ &\end{align}$$
Y eso es todo.