Relación con alguien menor que yo

Mantengo una relación con alguien menor que yo (yo tengo 20 y el 16) y hasta ahora todo ha estado super bien, pero en estos últimos días hemos tenido conflictos pero por parte de su familia de el (su papá más que nada) es muy cerrado, piensa cosas de mi que no tienen nada que ver, cree que le quito el tiempo a su hijo cuando no es así, tanto que hasta le llegó a quitar su celular por las noches que es cuando podemos hablar bien ya que el por las mañanas va a la escuela y en las tardes tiene entrenamientos, entonces no se que hacer, me siento super triste ante todo esto, siempre que me acuerdo lloro ya que yo si lo quiero bien y no quiero hacerle daño ni perjudicarlo.