Problemas con mi casero

Hola, mi casero quiere entrar en mi piso a toda costa, aferrándose a una clausura, que evidentemente yo no comprendí en su día y que ahora me esta dando muchos dolores de cabeza. Esta clausura dice que el inquilino se ve en la obligación de dejar entrar al arrendador o persona designada por este. Yo en un principio no me he negado nunca, hasta que hace poco me entere que quiso entrar en la vivienda sin mi permiso, simplemente utilizando su llave que tiene del piso. Aun así, he sido benevolente y le permite el paso, pero mi casero quería entrar con más personas. Total que yo me voy a finales de este mes, y me estoy viendo que voy a tener muchos problemas para que me firme el finiquito del alquiler. ¿Qué puedo hacer?, yo me mudo de ciudad y no puedo estar siempre presente cuando esta persona me lo exija, ya que él a mi negativa de dejarle entrar a sus acompañantes, me esta enviando burofax, imponiéndome la hora y día en que debo estar en casa porque él se va presentar. Esto más que un alquiler parece una condena. Gracias por su respuestas...