¿Tengo la culpa de su silencio?

Estoy en un dilema con un chico, no es mi novio, sólo nos vemos de vez en cuando y las veces que nos veíamos solía ser en la noche, me retiraba de mi casa y me dejaba en mi casa. Últimamente eso cambió de un momento a otro y ahora me pide que nos encontremos en un punto medio por la tarde y yo he tenido problemas con eso porque debo pedir permiso en mi trabajo, por lo cual no puedo ser puntual porque no me dan el permiso de inmediato y siempre me avisa con dos o tres horas de anticipación. El punto es que la primera vez que nos encontramos en esta nueva modalidad, llegué veinte minutos después y él se enojó pese que sabe que a mí me queda lejos ese supuesto punto medio

Posteriormente quiso verme, me avisó el día anterior, quedamos en una hora fija y yo dejé todo preparado, pedí permiso, todo. Resulta que dos horas antes de vernos me mandó un mensaje para confirmar si llegaría puntual y no escuché el mensaje y respondí una hora después cuando estaba a punto de salir para allá pero él me canceló, dijo que ya había aceptado un turno en su trabajo ya que no le confirmé pero yo le confirmé el día anterior y aún así me canceló y yo nunca le he dejado plantado y lo sabe.

Y bueno, ayer me quiso ver de nuevo pero yo estaba en una reunión de trabajo y no ví el mensaje, le contesté dos horas después en cuanto salí de la reunión y prendí los datos y le dije que nos viéramos el siguiente día porque estaba muy ocupada y no me contestó, me dejó en leído.

En verdad no entiendo qué le pasa, él sabe que estoy trabajando y no puedo simplemente salirme de la empresa cuando él está disponible. Y lo que más me molesta es que él es muuuy impuntual y cuando iba a mi casa a retirarme por la noche, quedábamos a una hora fija y yo solía esperarlo a veces hasta 40 minutos sentada en mi sala y nunca le reclamé o le cancelé, no entiendo ésta actitud. Sinceramente no le exijo nada porque no es mi pareja pero él creo que está siendo muy estricto conmigo y no sé cómo poner un límite a esta situación.

¿Tengo la culpa de su enojo? Me siento culpable de que no hayamos podido vernos porque yo si quería pero le propongo otro día y me ignora