Para calcular los máximos y mínimos lo primero debes calcular las derivadas parciales.
$$\begin{align}&z=x^2y+y^2+2x^2-3\\ &z_x =2xy+4x =2x(y+2)=0\\ &z_y = x^2+2y=0\end{align}$$
La parcial respecto a x que he expresado como producto nos dice que los valores que la anulan son x=0 e y = -2.
Vamos a la parcial respecto a y para calcular el otro valor
Si x=0
0^2 + 2y = 0
y=0
Si y=-2
x^2-4=0
x^2=4
x = 2 y -2
Luego los puntos críticos son estos 3:
(0,0)
(2,-2)
(-2,-2)
Ahora calculamos la matriz hessiana:
$$H_z=\begin{pmatrix}
z_{xx}&z_{xy}\\
z_{yx}&z_{yy}
\end{pmatrix}=
\begin{pmatrix}
2y+4&2x\\
2x&2
\end{pmatrix}\\
H_{z(0,0)}=
\begin{pmatrix}
4&0\\
0&2
\end{pmatrix}\;\;H_{z(2,-2)}=
\begin{pmatrix}
0&4\\
4&2
\end{pmatrix}\;\;
H_{z(-2,-2)}=
\begin{pmatrix}
0&-4\\
-4 &2
\end{pmatrix}$$
Ahora la explicación de como determinar si son máximos, mínimos u otra cosa te la han podido enseñar de muchas maneras; desde la más simple,directa y exclusiva para funciones de dos varibles a la más compleja, abstracta y álgebraica que pueda darse. Intentaré aunarlas.
En (0,0) los dos menores principales son positivos,
H1=4
H2=2·4 - 0·0 = 8
luego la matriz es definida positiva y por lo tanto es un mínimo.
En (2,-2) y (-2,-2)
H1=0
H2=-16
En general, si algún menor es cero no se tiene información, pero para dos variables hay un caso particular, si H1=0 y H2<0 es un punto de silla. Puedes verlo aquí:
http://es.wikipedia.org/wiki/Matriz_hessiana
Luego en resumen:
En (0,0) tienes un mínimo
En (2,-2) y (-2,-2) sendos puntos de silla.
Y eso es todo.