Problema en relación a las cadenas de Markov

Buenos días experto, tengo el siguiente problema que no he podido resolver. Ojala puede ayudarme y muchas gracias de antemano.