La función sqrt es sqrt(), debe encerrarse entre paréntesis todo lo que entra dentro de la raíz cuadrada. Es paradójico, pero sucederá esto, si tu pones esa expresión en un programa de cálculo o gráficas de ordenador o en este editor de ecuaciones lo que va a interpretar es esto:
$$(\sqrt 2)\;x^2-5x-12$$
que no tiene nada que ver con el
$$\sqrt {2x^2-5x-12}$$
que supongo quieres poner.
Al tratarse de una raíz cuadrada el radicando debe ser positivo para que la raíz cuadrada esté definida, luego debe ser:
x^2 - 5x - 12 >=0
Resolvemos la ecuación con el igual a 0
$$\begin{align}&x=\frac{5\pm \sqrt{25+48}}{2}=\frac{5\pm \sqrt{73}}{2}\approx\\ &\\ &-1.772\; y \;6.77\end{align}$$
Conociendo que esa figura es una parábola en forma de U ya sabemos que es positiva a los lados izquierdo de la raíz izquierda y derecho de la raíz derecha. Si no estás seguro de ese razonamiento, puedes tomar valores tales como -2, 0 y 7 en los tres intervalos que se crean y compruebas así el signo de cada intervalo.
Resumiendo:
$$Domf=\left(-\infty,\frac{5-\sqrt{73}}{2}\right]\cup \left[\frac{5+\sqrt{73}}{2},-\infty\right)$$
Y eso es todo.