Elementos de una cadena de Markov... Procesos estocásticos!

Agradeciendo de antemano su valioso apoyo en esta pregunta... Procesos estocásticos!

1. Un joven pasa sus días en tres estados de ánimo: feliz, triste e indiferente. Sus padres quieren saber su estado ánimo durante un mes. Se sabe que si está feliz se tiene un 25 % de mantenerse feliz y 50% de volverse indiferente. Por otro lado si esta indiferente tiene un 50% de estar feliz y un 50% de estar triste. Además se sabe que si esta triste tiene un 10% de estar indiferente al siguiente mes y un 60% de seguir triste. Establezca:
• Defina Xt, S y T
• Elabore un grafo
• Matriz estocástica
• Distribución inicial
• ¿Cuál es la probabilidad de que al cuarto mes este triste?
• Determine la probabilidad de la trayectoria T-F-I-T-F