Estas ecuaciones tienen una notación muy específica y conviene seguirla a rajatabla, va primero la dx y detrás la dy
-2xydx + (3x^2-y^2)dy = 0
La literatura dice que la ecuación es
Mdx + Ndy = 0
M = -2xy
N = 3x^2 - y^2
Veamos si es exacta para ello debe ser &M/&y = &N/&x
puedes ver que uso & para derivada parcial, es lo más sencillo que se me ocurre.
&M/&y = &(-2xy) / &y = -2x
&N/&x = &(3x^2-y^2) / &x = 6x
No es exacta, busquemos un factor integrante. Ahora no recuerdo todos los casos donde se puede usar, pero lo que tenemos es
&N/&x - &M/&y = 6x+2x = 8x
luego
(&N/&x - &M/&y) / M = 8x / (-2xy) = -4/y
solo depende de la variable y, y se puede calcular el factor integrante así
$$\mu=e^{\int \frac{-4dy}{y}}= e^{-4lny}= e^{ln(y^{-4})}=y^{-4} = \frac{1}{y^4}$$
Multiplicando la ecuación por el factor integrante tenemos
-(2x/y^3)dx + (3x^2/y^4 - 1/y^2) dy = 0
Comprobemos si es exacta
&M/&y = 6x / y^4
&N/&x = 6x/y^4
Luego está bien, ese el factor integrante y esta es la ecuación diferencial exacta
-(2x/y^3)dx + (3x^2/y^4 - 1/y^2) dy = 0
No sé si con esto ya podrás continuar tu. En todo caso, si no es así, puntúa esta pregunta y manda la resolución de la diferencial exacta en otra pregunta. Ahora mismo tengo que dejar el ordenador y tendría que repasar porque uno no puede acordarse de como se resuelven todas las ecuaciones diferenciales que existen.