¿Conserje tiene obligación de tener llaves de los pisos?

Llevo 20 años de conserje en una comunidad de propietarios, pero tengo problemas con uno de los propietarios, a pesar de ser yo una persona cabal y amante de mi trabajo, haciendo favores a todos los vecinos siempre que estén en mi mano, pero este en concreto ya propuso mi despido por suponer mucho gasto para la comunidad, cosa que por unanimidad se denegó. Ahora resulta que después de muchos años leyendo los contadores de agua de las casas, incluida la de él, con las llaves de lo vecinos que tengo y cuando no están. Resulta que llamando varias veces en su casa y sin contestar nadie, se accede con el señor que lee los contadores a la casa, con la casualidad de que estaba su hija durmiendo. He de decir que este señor vive en otra provincia y su hija esta en la casa esporádicamente. La cuestión es que le sentó mal a la hija y me llamo reprochándome que entrase sin su consentimiento, que yo tenía por que entrar, después de tantos años haciendo lo mismo y el sabiéndolo, con mucha educación le dije que no volvería a pasar. El caso es que ya no quiero tener sus llaves porque me temo una encerrona, mi pregunta es si tengo obligación o no de tener sus llaves.