El régimen de visitas

Tengo una hija con mi ex-pareja tan solo vivíamos juntos nunca nos casamos ni hicimos papeles , la custodia la tiene la madre, por motivos laborales me he trasladado a vivir a otra ciudad y le paso una pensión alimenticia cada mes, vivimos a 600km separados y me es, muy complicado poder cumplir con el régimen de visitas . Mi pregunta es ¿El régimen de visitas es una obligación o un derecho? Me puede pasar algo si no puedo cumplir el régimen de visitas estipulado por el juez?

Gracias y un saludo