Esta cónica ya es complicada por el término xy que tiene. El cálculo de los elementos ya no es sencillo y la teoría será algo distinta según lo estés estudiando en Álgebra o en Geometría Analítica más o menos normal o en Geometría Proyectiva.
Para mí la forma más fácil era con Geometría Proyectiva en el plano ampliado complejo, donde los puntos del plano tienen unas coordenadas homogéneas que son las dos normales del plano y una tercera que cuando dividimos las dos primeras por ella nos da las coordenadas normales del punto y cuando la tercera es cero se trata de un punto del infinito.
Con ese sistema la ecuación de una cónica es
$$a_{11}x^2+a_{22}y^2+a_{33}z^2+2a_{12}xy+2a_{13}xz+2a_{23}yz=0
\\
\text{y la forma matricial es}
\\
(x,y,z)
\begin{pmatrix}
a_{11}&a_{12}&a_{13}\\
a_{21}&a_{22}&a_{23}\\
a_{31}&a_{32}&a_{33}
\end{pmatrix}
\begin{pmatrix}
x\\
y\\
z
\end{pmatrix}=0
\\
.
\\
\text{Para esta cónica la matriz es}
\\
A=\begin{pmatrix}
3&1&-4\\
1&3&-4\\
-4&-4&-12
\end{pmatrix}$$
Y con toda la teoría que se estudia se tiene que la ecuación del centro (a,b,1) es la que cumple
(a b 1) A = (0 0 h)
que es este sistema
3a+b-4=0
a+3b-4=0
A la segunda le sumamos la primera multiplicada por -3
-8a+8= 0
a=1
3+b-4=0
b=1
Luego el centro en coordenadas homogéneas es (1,1,1) que en coordenadas normales es
(1,1)
----------
Ahora ya usaremos coordenadas normales del plano.
Los ejes tiene la dirección de los vectores propios de los valores propios no nulos de T, donde T es la matriz
(a11 a12) (3 1)
T = (a21 a22) = (1 3)
|3-t 1|
|1 3-t| = 0
(3-t)(3-t)-1 = 0
t^2 - 6t + 9 -1 = 0
t^2 - 6t + 8 = 0
$$t=\frac{6\pm \sqrt{36-32}}{2}=4\; y\; 2$$
Entonces los vectores propios son:
Para t=4
(3-4)x +y = 0 ==> -x+y = 0
x +(3-4)y = 0 ==> x-y=0
se deduce x=y; y el vector propio es (1,1) y un eje tiene la dirección (1,1)
Para t=2
(3-2)x+y = 0 ==> x+y=0
x+(3-2)y = 0 ==> x+y=0
Se deduce x=-y; y el vector propio es (1,-1) y el otro eje tiene la dirección (1, -1)
Los vértices son las intersecciones de los ejes con la cónica
Para el primer eje la ecuación es
x=1+t
y=1+t
las intersecciones son
3x^2 + 2xy + 3y^2 - 8x - 8y - 12 =0
3(1+t)^2 + 2(1+t)^2 + 3(1+t)^2 - 8(1+t) - 8(1+t) - 12 = 0
8(1+t)^2 - 16(1+t) - 12 = 0
2(1+t)^2 - 4(1+t) - 3 = 0
Resolvemos la ecuación de grado 2 con incógnita (1+t)=x
$$\begin{align}&x=1+t = \frac {4 +- \sqrt{16+24}}{4}=1\pm \frac{\sqrt{10}}{2}\\ &\\ &\text{Estos vértices son}\\ &\\ &v_{11}=\left(1+ \frac{\sqrt{10}}{2},\quad1+ \frac{\sqrt{10}}{2} \right)\\ &\\ &v_{12}=\left(1- \frac{\sqrt{10}}{2},\quad1- \frac{\sqrt{10}}{2} \right)\\ &\\ &\end{align}$$
Para el segundo eje la ecuación es
x=1+t
y=1-t
3(1+t)^2 + 2(1+t)(1-t) + 3(1-t)^2 - 8(1+t) - 8(1-t) - 12 = 0
3 + 6t + 3t^2 + 2 - 2t^2 + 3 - 6t + 3t^2 - 8 - 8t - 8 + 8t - 12 = 0
4t^2 - 20 =0
t = +- sqrt(5)
Los vértices de este eje son
$$\begin{align}&v_{21}=\left(1+\sqrt 5,\quad 1-\sqrt 5\right)\\ &\\ &v_{22}=\left(1-\sqrt 5, \quad 1+\sqrt 5\right)\end{align}$$
El ordenador ya no puede con más editor de ecuaciones, no podré usarlo, la raíz cuadrada será sqrt()
La raíz de 5 es mayor que la (raíz de 10)/2
luego este segundo eje es el longitudinal y los vértices principales son v21 y v22
El semieje a es la distancia del centro al vértice v21 por ejemplo y vale sqrt(5+5) = sqrt(10)
El semieje b lo mismo para v11 y vale sqrt(10/4 + 10/4) = sqrt(20/4) =sqrt(5)
La semidistancia focal es la raíz cuadrada de la diferencia de cuadrados
c=sqrt(a^2-b^2) = sqrt(10-5) = sqrt(5)
Y los focos están a esa distancia del centro en el eje longitudinal. Para que la distancia en dirección (1,-1) valga sqrt(5) las componentes (r,-r) del vector deben valer
sqrt(r^2+r^2) = sqrt(5)
2r^2 = 5
r=sqrt(5/2)
f1=(1+sqrt(5/2) , 1-sqrt(5/2))
f2=(1-sqrt(5/2) , 1+sqrt(5/2))
Y eso es todo, espero que te sirva y lo hayas entendido, la pena es que cuando se recarga mucho la respuesta y se usa mucho editor de ecuaciones se acaba por hacer imposible escribir. Si no entendiste algo pregúntame, y si ya está bien no olvides puntuar.