Elementos de una cadena de Markov...Procesos estocasticos5!

Espero y me puedan apoyar con la solucion de este problema. Gracias anticipadas!

4. Considere un sistema de inventarios en el que la secuencia de sucesos durante cada periodo es como sigue:
1. Se observa el nivel de inventarios (llámelo i) al comienzo del periodo.
2. Si i≤1, se pide 4-i unidades. Si i≥2, se piden 0 unidades. La entrega de las unidades pedidas es inmediata.
3. Con probabilidad 1/3, la demanda durante el periodo es de 0 unidades; con probabilidad 1/3, la demanda durante el periodo es de 1 unidad y con probabilidad 1/3, la demanda durante el periodo es de 2 unidades.
4. Se observa el nivel de inventario al comienzo del siguiente periodo.
Defina el estado de un periodo como el nivel de inventario inicial del periodo. Establezca:
• Defina Xt, S y T
• Elabore Grafo
• Establezca la matriz estocástica
• ¿Suponga que inicio con 0 unidades en el inventario, cómo será la distribución inicial?
• ¿Cuál es la probabilidad que al tercer día tenga 3 unidades en el inventario?