¿Siendo copropietario de una casa puedo entrar si mi padre tiene el derecho de usufructo

He recibido como herencia de mi madre, conjuntamente con mi hermano al 50%, y mi padre recibe el derecho de usufructo. Mi pregunta es: siendo copropietario de la casa conjuntamente con mi hermano puedo entrar en la casa cuando yo quiera o tengo que pedirle permiso a mi padre, ya que actualmente el no vive en dicha casa.