Haremos la primera derivada y luego la segunda.
$$\begin{align}&y=(x^2-x-1)^2\\&\\&y'=2(x^2-x-1)(2x-1)\\&\\&\text{La segunda la igualaremos a 0}\\&\\&y''= 2\left((2x-1)(2x-1)+2(x^2-x-1) \right)=\\&\\&2(2x-1)^2+4(x^2-x-1)=\\&\\&8x^2-8x +2+4x^2-4x-4 =\\&\\&12x^2-12x-2 = 0\\&\\&\text{calculamos las raíces}\\&\\&x=\frac{12\pm \sqrt{144+96}}{24}= \frac{12\pm \sqrt {240}}{24}=\\&\\&\frac{12\pm 4 \sqrt {15} }{24}= \frac{3\pm \sqrt{15}}{6}\end{align}$$
Como esas respuestas son muy feas las pondré en decimal para poder escribirlas de forma sencilla
x1 = -0.145497224
x2 = 1.145497224
Tenemos que calcular el signo de la derivada segunda. Como es una parábola con coeficiente director positivo será positiva a los lados y negativa entre las raíces. Si no te sirve este argumento puedes tomar tres puntos de cada intervalo y calculas el valor de la derivada segunda en ellos
(-oo, -0.145497224) f''(x)>0 ==> f(x) es cóncava hacia arriba
(-0.145497224, 1.145497224) f''(x) <0 ==> f(x) es cóncava hacia abajo
(1.145497224, oo) f''(x) >0 ==> f(x) es cóncava hacia arriba
Las palabras cóncava y convexa son inutilizables porque cada país, cada autor, cada libro dicen una cosa distinta. Cóncava hacia arriba es con forma de copa, y cóncava hacia abajo con forma de iglú.
-------
Perdón, enfrascado con la concavidad se me había olvidado lo de máximos, minimos e intervalos de crecimiento y decrecimiento.
La función es
y=(x^2-x-1)^2
Eso significa que es no negativa, luego hallá donde valga 0 tendra mínimos.
Ya vimos que
x1 = -0.145497224
x2 = 1.145497224
eran raíces de x^2-x-1
luego esos dos puntos son mínimos y el valor de la función es 0
El otro punto crítico era 1/2. Si una función es contibua debe tener un máximo entre dos mínimos, pero por si acaso usamos otro criterio, el valor de la derivada segunda es
y''(1/2) = 12(1/2)^2 - 12(1/2) - 2 = 3-6-2 = -5 luego es un máximo relativo
Y el valor de la función en este máximo es
[(1/2)^2 - 1/2 - 1]^2 = (1/4 - 1/2 - 1)^2 = [(1-2-4)/4]^2 =(-5/4)^2 = 25/16
Luego el máximo es (1/2, 25/16)
Y los intervalos de crecimiento decrecimiento teniendo en cuenta que f es un polinomio de grado 4 con coeficiente director positivo, por lo que empieza descendiendo desde infinito son:
(-oo, -0.145497224) decreciente
(-0.145497224, 0.5) creciente
(0.5, 1.145497224) decreciente
(1.145497224, +oo) creciente.
Y eso es todo.