·
Sea x el corte para el cuadrado. El corte para el triángulo será 10-x
El área del cuadrado es sencilla (x/4)^2= x^2/16, la del triángulo deberemos calcularla por Pitágoras o por trigonometría.
Como ya te lo han hecho por Pitágoras por trigonometría tenemos que la base es igual que la hipotenusa y entonces la altura es la base por el seno de 60º
$$\begin{align}&A_{tri}=\frac{bh}2=\frac{b·\left(\frac {\sqrt 3}{2}b \right)}{2}=\frac{\sqrt 3}{4}b^2\\&\\&\text{como }b=\frac{10-x}{3}\\&\\&A_{tri}=\frac{\sqrt 3}{4}\frac{(10-x)^2}{9}\\&\\&\text{Y el area total del cuadrado y triángulo es}\\&\\&A(x)=\frac{x^2}{16}+\frac{\sqrt 3(10-x)^2}{36}\\&\\&\text{derivamos e igualamos a 0}\\&\\&A'(x)=\frac x8 +\frac{\sqrt 3}{36}2(10-x)(-1)=\\&\\&\frac x8-\frac{\sqrt 3}{18}(10-x)=0\\&\\&18x-8 \sqrt 3(10-x)=0\\&\\&18x -80 \sqrt 3+8\sqrt 3x = 0\\&\\&x(18 + 8\sqrt 3) = 80 \sqrt 3\\&\\&x=\frac{80 \sqrt 3}{18+ 8\sqrt 3}=\frac{40 \sqrt 3}{9+4 \sqrt 3}=\\&\\&\frac{360 \sqrt 3-480}{81-48}=\frac{120(3 \sqrt 3-4)}{33}=\\&\\&\frac{40(3 \sqrt 3-4)}{11}\approx4.349645\\&\\&Recordemos que\\&A'(x)=\frac x8-\frac{\sqrt 3}{18}(10-x)=\\&\\&\left(\frac 18+\frac{\sqrt 3}{18}\right)x-\frac{10 \sqrt 3}{18}\\&\\&\text{luego}\\&\\&A''(x)=\frac 18+\frac{\sqrt 3}{18}\gt 0\\&\\&\text{por lo tanto es un mínimo y su valor es}\\&\\&A(4.349645)=\frac{4.349645^2}{16}+\frac{\sqrt 3(10-4.349645)^2}{36}=\\&\\&2.718528233\;m^2\\&\\&\\&\end{align}$$
Una función continua y derivable en un intervalo cerrado alcanza sus maxímos o mínimos absolutos en los puntos críticos o en los extremos, veamos el valor de estos
$$\begin{align}&A(0)=\frac{0^2}{16}+\frac{\sqrt 3(10-0)^2}{36}=\\&\\&\frac{100 \sqrt 3}{36}\approx 4.8112522\;m^2\\&\\&A(10) = \frac{10^2}{16}+\frac{\sqrt 3(10-10)^2}{36}=\\&\\&\frac{100}{16}= 6.25\,m^2\end{align}$$
Resumiendo:
El área máxima se consigue dejando los 10m para el cuadrado.
El área mínima se consigue cortando 4.349645 m para el cuadrado.
·
Y eso es todo.