Visitas casero

Hola, he alquilado un piso hace dos meses y se por la inmobiliaria que a mi casero le han hecho una oferta de alquiler más alta de lo que yo estoy pagando por lo que hace uso de una clausula del contrato donde pone que tiene derecho a venir a ver el estado del piso para venir todas las semanas o casi, a cualquier hora de la mañana o la tarde sin avisar y colarse en todas las habitaciones, quejarse de que viene mucha gente a casa, cuando en los dos meses solo ha venido mi novia 2-3 veces por semana y nunca a dormir, ¿quejarse de que se oyen ruidos de animales cuando yo no tengo ningún tipo de animal y de algún arañazo en las puertas de supuestos perros (arañazos que el sabe que ya estaban antes de mudarme yo) y que si tengo animales me tendrá que echar y quedarse con la fianza de 3000 euros
puedo negarme legalmente a este exceso de visitas? Y si finalmente me echa con alguno de estos falsos pretextos puedo exigir la devolución de la fianza, ¿ademas de algún tipo de indemnización ya que el piso estaba vacío y he tenido que comprar todos los mueble?
Gracias