Encuentras las raíces del polinomio x^2 - 6x + 16 y te va a dar que no tiene raíces reales, eso quiere decir que la función será siempre positiva (>0), por lo que el resultado será todo R o siempre negativa (<0) por lo que el resultado será el conjunto vacio.
Acá hay varias formas de darse cuenta, te dejo 2:
a) Como el coeficiente principal es positivo (es 1), la función será siempre positiva (debido a que como vimos antes, no tiene raíces reales)
b) Evaluás el polinomio en cualquier punto, por ejemplo x=0 el polinomio da 16, como el polinomio es una función continua, y no tiene raíces reales, siempre será positiva.
Salu2