¿Como debería de remplazar en esta integral?

∫  (√ cot x)*csc^2x * dx; 

o:  ∫  [(√ cot x) / sen^2x ]* dx;  CDV:  u=cotx;  du= -dx/sen^2x;  reemplazo:

- ∫  (√u)*du;   CDV:  v=√u;  dv= du/(2v);  du=2v*dv:  reemplazo:

(-2) ∫ v^2*dv;  integro:  

(-2/3) v^3 + C;  devuelvo última variable:

(-2/3) √(u^3) + C;  devuelvo primera variable:  

(-2/3) √(cot^3 x) + C; o:

(-2/3) cot^(3/2) x + C;   que es tu primera respuesta.

Corroboramos por derivación:  

(-2/3)  * (3/2) cot^(1/2) x * (-1/sen^2x);  o:

√cotx * csc^2x;  es correcto.

Segundo ejercicio:  ∫ (x^2 + 1) (x^3+3x)^4*dx; 

CDV:  u=(x^3+3x);  du=(3x^2+3)*dx;  o:  du= 3*(x^2+1)*dx;  dx= du/3(x^2+1) reemplazo:

(1/3) ∫ u^4* du;  integro:

(1/15) u^5 + C;  devuelvo variable:

(1/15) (x^3+3x)^5 + C;  que es tu segunda respuesta.

Corroboro por derivación:

(1/15) * 5 * (x^3+3x)^4 * (3x^2+3);  o:  (1/15) * 5 * (x^3+3x)^4 * 3 *(x^2+1);

(x^3+3x)^4 * (x^2+1);  es correcto.