Elementos de una cadena de Markov...Procesos estocasticos3!

Ojala me pudieran apoyar en la solucion de este problema...procesos estocasticos!

Considere el modelo del valor de una acción en el mercado de acciones. Se sabe que si la acción subió los días seguidos (ayer y hoy) la probabilidad de que suba mañana es de 0.9. Si la acción subió hoy pero ayer bajó, la probabilidad de que mañana suba es de 0.6. Si la acción bajó hoy pero ayer subió, entonces la probabilidad de que mañana suba es de 0.5. Por último, si bajó durante los dos días, la probabilidad de que mañana suba es de 0.3. Establezca una cadena que sea de Markov considerando la información anterior.
• Defina Xt, S y T
• Elabore un grafo
• Establezca la matriz estocástica
• ¿Cómo será la distribución inicial?
• ¿Cuál es la probabilidad de que en 4 días la acción baje?