Pues suponiendo de la superficie pueda ponerse como una función de x, y
z=f(x,y)
Vamos a calcular el vector dS en cada punto.
Como dijimos dS es un vector perpendicular a la superficie y cuyo módulo es la superficie. Los trocitos de superficie los vamos a aproximar por el plano tangente, cada uno tendrá una proyección sobre el plano z=0 de longitudes dx y dy, pero ese trocito de plano tangente estará inclinado y su figura es un paralelogramo. Para calcular su superficie se puede usar la formula del módulo del producto vectorial de dos lados confluyentes en un vértice tomados como vectores.
Uno de los lados tomado como vector del paralelogramo es paralelo al eje X, sus coordenadas son
$$\begin{align}&\vec {l_x}=\left(dx, 0, \frac{\partial z(x,y)}{\partial x}dx \right)\\ &\\ &\text{el otro lado es}\\ &\\ &\vec{l_y}=\left(0, dy, \frac{\partial z}{\partial y}dy \right)\\ &\\ &\vec{dS}=\vec{l_x}\times \vec{l_y}=\\ &\\ &-\frac{\partial z(x,y)}{\partial x}dxdy \,\vec i-\frac{\partial z(x,y)}{\partial y}dxdy \,\vec j+ dxdy\,\vec k\end{align}$$
Y ahora hay que hacer el producto escalar de ese vector dS por el vector del campo vectorial en el punto, El campo vectorial es
$$\begin{align}&\vec {F}(x,y,z)=X(x,y,z)\vec i + Y(x,y,z)\vec j+Z(x,y,z)\vec k\\ &\\ &tendremos\\ &\\ &\vec F·\vec {dS}=\left(-X·\frac{\partial z}{\partial x}-Y·\frac{\partial z}{\partial y}+Z\right)dxdy\\ &\\ &Flujo =\iint_D \left(-X·\frac{\partial z}{\partial x}-Y·\frac{\partial z}{\partial y}+Z\right)dxdy\end{align}$$
D es el dominio de integración que es la proyección de la superficie sobe el plano z=0
Y las veces que aparezca z en la integral debe ser sustituido por la función de x, y que determina la superficie.
Vamos con el problema
F(x,y,z) = 2xyi + 2yzj + 2xzk
la superficie es el plano
x+y+z = 2a
luego puesta como función z(x,y) es
z = 2a-x-y
parcial z / parcial x = -1
parcial z / parcial y = -1
$$\begin{align}&Flujo =\iint_D \left(-X·\frac{\partial z}{\partial x}-Y·\frac{\partial z}{\partial y}+Z\right)dxdy=\\ &\\ &\int_0^a\int_0^a\left[-2xy(-1)-2yz(-1)+2xz\right]\;dx dy=\\ &\\ &\int_0^a\int_0^a\left[2xy+2yz+2xz\right]\;dx dy=\\ &\\ &\text{sustituimos z= 2a-x-y}\\ &\\ &\int_0^a\int_0^a\left[2xy+2y(2a-x-y)+2x(2a-x-y)\right]\;dxdy =\\ &\\ &\\ &\int_0^a\int_0^a\left(2xy +4ay-2xy-2y^2+4ax-2x^2-2xy\right)dxdy=\\ &\\ &\\ &\int_0^a\int_0^a\left(4ay-2xy-2y^2+4ax-2x^2\right)dxdy=\\ &\\ &\\ &\int_0^a \left[4axy -x^2y-2xy^2+2ax^2-\frac{2x^3}{3}\right]_0^a dy=\\ &\\ &\\ &\int\left(4a^2y-a^2y-2ay^2+2a^3-\frac{2a^3}{3}\right)dy=\\ &\\ &\\ &\int\left(3a^2y-2ay^2+\frac{4a^3}{3}\right)dy=\\ &\\ &\left[\frac{3a^2y^2}{2}-\frac{2ay^3}{3}+\frac{4a^3y}{3}\right]_0^a=\\ &\\ &\frac{3a^4}{2}- \frac{2a^4}{3}+\frac{4a^4}{3}=\\ &\\ &\frac{9a^4-4a^4+8a^4}{6}= \frac{13a^4}{6}\end{align}$$
Y eso es todo, quizá la parte teórica la tengas mejor explicada en tu libro u otro sitio, la verdad es que este tema no lo domino muy bien y me ha costado escribirlo. Aparte que faltarían gráficos 3D de los diferenciales de superficie para entenderlo mejor.