Llave alquiler dueño

Buenos días, verá mi chico y yo hemos alquilado un piso. Por empeño de mi chico hemos cambiado el bombín diciéndoselo al dueño quien nos ha dado permiso para hacerlo. El problema reside en la tercera llave. Mi pareja no quiere darle la llave al dueño del piso por que no se fiá de nadie y teme que entre en el piso. Yo considero que se la tenemos que dar más que nada por muestra de que no vamos ha destrozarle el piso, sino que no tenemos problema para que la tenga y que creo que si cambiamos el bombín y no le damos la llave puede sospechar de nosotros.
Mi pregunta es: ¿Es obligatorio darle la llave? ¿Hay alguna manera, ya sea con un escrito, o algo parecido, para que se le entregue la llave? Yo tengo miedo a que el dueño se enfade por que no le queremos dar la llave y nos diga que nos vayamos.
¿Me podéis ayudar?
Muchas gracias