Consideremos la esfera centrada en el origen y la pirámide hacia arriba. La base de la pirámide será un plano paralelo al plano z=0, la intuición nos dice que estará por debajo de él pero eso ya se verá. Este plano corta a la esfera en una circunferencia. Hagamos la proyección de todo esto sobre el plano x=0, tenemos una circunferencia y una cuerda horizontal que es ese plano.
Tracemos el radio de la circunferencia al extremo derecho de la cuerda y vamos a considerar el ángulo que forma ese radio con el eje horizontal de la circunferencia.
De acuerdo con este angulo que llamará a tenemos que la altura de la pirámide es
R - R·sena
Y la mitad de la longitud de la cuerda es
r = R·cosa
Luego el radio de la circunferencia corte entre plano y esfera es
r = R·cosa
En esa circunferencia es donde está inscrito el cuadrado que es la base de la pirámide.
Visto des arriba el lado es una recta que va de (0, r) a (r,0) luego mide
sqrt(r^2+r^2) = r·sqrt(2) = R·cosa·sqrt(2)
Así que la base del triángulo mide
b = R·cosa·sqrt(2)
El punto medio de la base, puesto ahora en tres dimensiones es
((1/2)R·cosa , (1/2)R·cosa , Rsena)
Y la altura es la distancia de este punto al punto (0,0,R)
h = sqrt[(1/4)R^2·cos^2(a) + (1/4)R^2·cos^2(a) + (R-R·sena)^2] =
R·sqrt[(1/2)cos^2(a)+1+sen^2(a)-2sena] =
R·sqrt[3/2 + (1/2)sen^2(a) - 2sena]
Y entonces el área lateral será
A = 4bh/2 = 2bh =
A = 2R^2·sqrt(2)·cosa·sqrt[3/2 + (1/2)sen^2(a) - 2sena]
Podemos prescindir de lps factores iniciales que son contantes y hay que maximizar la función
A(a) = cosa·sqrt[3/2 + (1/2)sen^2(a) - 2sena]
Para ello la derivamos
$$\begin{align}&f(a)=cosa· \sqrt{\frac 32 + \frac 12sen^2a - 2sena}\\ &\\ &\\ &f'(a)= -sena·\sqrt{\frac 32 + \frac 12sen^2a - 2sena}+\\ &\\ &\\ &cosa \frac{sena·cosa-2cosa}{2 \sqrt{\frac 32 + \frac 12sen^2a - 2sena}}=0\\ &\\ &-sena \left(\frac 32 + \frac 12sen^2a - 2sena\right)+sena·\cos^2a-2cos^2a=0\\ &\\ &-\frac 32sena-\frac 12 sen^3a+2sen^2a+sena·\cos^2a-2cos^2a=0\\ &\\ &-\frac 32sena-\frac 12 sen^3a+2sen^2a+sena(1-sen^2a)-2(1-sen^2a)=0\\ &\\ &-\frac 32sena-\frac 12 sen^3a+2sen^2a+sena -sen^3a-2+2sen^2a=0\\ &\\ &-\frac 32 sen^3a + 4sen^2a-\frac 12sena-2=0\\ &\\ &3sen^3a-8sen^2a+sena+4=0\\ &\\ &\\ &\end{align}$$
Lo dejo aquí, el ordenador ya no puede con tanta fórmula y va lentísimo. Tendría que repasarlo todo para ver si está bien, es fácil que haya tenido algún error. Y ahora tenemos una ecuación de grado 3 que no es algo sencillo de resolver. Si es suficiente me lo dices, si no espera unas horas que tengo que dejar el ordenador.