Cadenas de Markov... Procesos estocásticos!

De antemano les agradezco me puedan apoyar en este problema...

Un guardia vigila una cárcel cuadrada en Almoloya de Juárez, con cuatro torres de
vigilancia. Para despistar a los presos, el guardia permanece una hora en una torre y
luego lanza un dado, si sale un numero de los siguientes (1,4) va a la torre izquierda y
si le sale un número (2, 3,5,6) a la derecha. La vigilancia inicia en la torre tres.

a) Graficar el grafo
b) Elaborar la matriz estocástica
c) Establecer la distribución inicial
d) Encontrar los valores propios
e) Clasificar los estados
f) ¿Cuál es la probabilidad que a la cuarta hora se encuentre en la torre 3?
g) Encontrar la distribución a largo plazo
h) Concluir: ¿Es buena la estrategia del guardia?