Lo primero que hay que tener en cuenta es que tenemos el producto de dos funciones y eso es derivada de la primera por segunda sin derivar más primera sin derivas por derivada de la segunda
(gh)' = g'h + gh'
luego que la segunda función es una función elevada al cubo
(g³)' = (3g²)g '
y finalmente que la derivada de la tangente es
tg'(x) = (1+tg²x)
En otro sitios te dirán que la derivada es la secante, ambas tienen el mismo valor, pero la secante no es función fundamental y la tangente si lo es, por eso yo prefiero lo de (1+tg²x)
Y tras todos estos preparativos el resultado es
(x·tg³x)' = 1·tg³x + x(3tg²x)(1+tg²x) = tg³(x) + 3x(tg²x+tg4x)
No hay nada escrito sobre cuál es la expresión mejor. Si quieres puedes sacar factor común tg²x y queda
Tg²x(tgx+3x+3xtg²x) o simplemente dejarlo como al principio
tg³x+3x·tg²x(1+tg²x)
Y eso es todo.