La pregunta es vieja, pero me gustó el ejercicio...
Lo primero que debes hacer (siempre que sea posible, como en este caso) es hacer un diagrama para entender el problema.
Una vez hecho el diagrama, ves que el rectángulo pedido es simétrico respecto al eje Y, por lo cual podés limitar lo pedido al rectángulo formado en el cuadrante IV (x positivo, y negativo), de esta forma se simplifican los cálculos y solo deberías recordar que una vez que tengas el resultado el área será el doble (el valor obtenido en el eje Y no cambiará, pero el obtenido en el eje X será el doble ya que incluirá al valor positivo y al negativo).
Tenemos que un vértice será el (0,0) y el vértice opuesto estará formado por las coordenadas (a, b), donde
a: Se mueve entre los valores (0, raíz(27)
b: Se mueve entre los valores (0, -27) y además pertenece a la función, por lo que en realidad podemos decir que
b = a^2 - 27
En este momento voy a 'dar vuelta' la función para trabajar con valores de b positivos (y que el área tenga sentido, ya que sino llegaríamos a valores de b que si bien cumplen la condición, no parecería ser un buen caso (*)).
Si hacemos la simetría respecto al eje X, entonces podemos decir que
b = -a^2 + 27
Dicho esto tenemos que
Area = A = a * b
A = a * (-a^2 + 27) = -a^3 + 27a
A' = -3a^2 + 27
A' = 0 implica
0 = -3a^2 + 27 por lo tanto a = 3 (en realidad es +/-3, pero ya vimos que a se mueve en los valores positivos, además que +3 está en el intervalo buscado)
Veamos si es máx o mín
A'' = -6a y para a=3, A'' < 0, por lo tanto es máximo
(*) Si te hubieses quedado con la forma de b original, en este punto hubieses obtenido que era un mínimo, lo cual está bien porque te estaría dando el valor del área 'más negativa posible' (al ser b, negativo)
Ya sabemos que a=3, remplazando en la ecuación tenemos que
b = -(3)^2 + 27 = 18....si trabajás con la expresión original te daría -18
y el área búscada es
A = a * b = 3 * 18 = 54
En realidad sabemos que nos quedamos con una parte de la expresión (el cuadrante IV), por lo que el verdadero valor de a es el doble (6) y el del área también (108).
Muuuuuy tarde, pero me pareció un lindo ejercicio para realizar, sobre todo porque no hay que ir 'de memoria', sino que hay que ir analizando en cada caso que es lo más conveniente...
Salu2