Cuando el radicando sea de la forma
m^2·x^2 - n^2
Debes hacer el cambio
x = (m/n)sec(t)
Y se te irá el radicando.
Has de tener en cuenta la identidad trogonométrica
1+tg^2(x) = sec^2(x)
$$\begin{align}&\int \frac{dx}{x^3 \sqrt{x^2-9}}=\\ & \\ & x=3sec\,t\\ & dx=3sec\,t·tg\,t\;dt\\ & \\ & =\int \frac{3sec\,t·tg\,t}{27sec^3t \sqrt{9sec^2t-9}}dt=\\ &\\ &\frac 19 \int \frac{tg\,t}{sec^2t \sqrt{9(sec^2t-1)}}dt=\\ &\\ &\frac 19 \int \frac{tg\,t}{sec^2t ·3\sqrt{sec^2t-1}}dt=\\ &\\ &1+tg^2t=sec^2t\implies sec^2t-1=tg^2t\\ &\\ &=\frac 1{27}\int \frac{tg\,t}{sec^2t·tgt}dt=\\ &\\ &\frac 1{27} \int \frac{dt}{sec^2t}=\frac 1{27} \int \frac{dt}{sec^2t}=\\ &\\ &\frac 1{27}\int \cos^2t dt=\frac 1{27}\int \frac{1+ \cos 2t}{2}dt =\\ &\\ &\frac 1{27}\left(\frac t2+\frac{sen\,2t}{4} \right)+C=\\ &\\ &\frac 1{27}\left(\frac 12arcsec \frac x3 + \frac 14sen\left(2arcsec \frac x3\right) \right)+C=\\ &\\ &\frac 1{27}\left(\frac 12arcos \frac 3x+\frac 14sen\left(2arcos \frac 3x\right) \right)+C=\\ &\\ &\frac 1{54}arc \cos \frac 3x+\frac 1{108}·2 ·sen\left(arcos \frac 3x \right)\cos\left(arccos \frac 3x \right)+C=\\ &\\ &\frac 1{54}arc \cos \frac 3x+\frac 1{54}·sen\left(arcsen \sqrt{1-\frac 9{x^2}} \right)·\frac{3}{x}+C=\\ &\\ &\frac 1{54}arc \cos \frac 3x+\frac 1{18x}·\sqrt{\frac {x^2-9}{x^2}}+C=\\ &\\ &\frac 1{54}arccos \frac 3x+\frac{\sqrt{x^2-9}}{18x^2}+C\\ &\end{align}$$
Y eso es todo. Ten en cuenta por si la has hecho con algún software que algunos tienen debilidad por usar la función arcsen (yo al revés) y te saldrá eso mismo pero con arcsen y en negativo. No hay ningún problema, las integrales pueden ser distintas siempre que solo difieran en una constante y fijate que
arccos x = pi/2 - arcsen x
La diferencia entre ambas integrales será la constante pi/2.
Y eso es todo.