a)
Este problema se resuelve con una distribución binomial negativa.
Los datos son
X = el número de intentos
r = el número de éxitos que se piden
p = la probabilidad de éxito
Y la fórmula es
$$\begin{align}&P(x,r,p)=\binom{x-1}{r-1}p^r(1-p)^{x-r}\\ &\\ &P(6,3,0.8)=\binom{6-1}{3-1}0.8^3(1-0.8)^{6-3}=\\ &\\ &\binom{5}{2}0.8^3·0.2^{3}=10·0.512·0.008=0.04096\end{align}$$
b) Será la suma de probabilidades de que suceda en el intento tercero, cuarto o quinto
En el tercero es sencillo
P(en el tercero) = 0.8^3 = 0.512
Para el cuarto podríamos usar la fórmula puesta arriba o deducirla a través de una binomial. Vamos a hacer esto segundo, para que veamos que se puede hacer el problema sin conocer la distribución binomial negativa.
Se obtendrá el tercer éxito en el cuarto intento si en los tres primeros hubo 2 éxitos y hay éxito en el cuarto. Eso es la probabilidad de 2 aciertos en una binomial de 3 multiplicada por la probabilidad de un éxito.
$$\begin{align}&\left[\binom{3}{2}0.8^2·0.2\right]0.8= \\ &\\ &\\ &3·0.64·0.2·0.8= 0.3072\end{align}$$
Y para obtener el tercero en el quinto lo haremos de esta misma forma, en realidad lo de la distribución binomial negativa no aporta nada imprescindible y tienes que recordar más fórmulas.
Entonces será la probabilidad de una binomial de 4 con 2 éxitos multiplicada por la probabilidad de 1 acierto
C(4,2)·0.8^2 · 0.2^2 · 0.8 = 6 · 0.64 · 0.04 · 0.8 = 0.12288
Luego la probabilidad de tener tres éxitos antes de sexto intento es:
0.512 + 0.3072 + 0.12288 = 0.94208
Y eso es todo.