Lugar de entrega de los niños en una separación

Estoy separada hace 5 años y desde este pasado mes de septiembre tenemos la custodia compartida por que su padre me la pidió y yo por no entrar en juicios y hacer daño a los niños accedí. Yo los llevo para entregárselos en su piso, en el rellano, pero ahora me sale con que no quiere que suba a su piso arriba para no molestar su privacidad y evitar que se enteren los vecinos. El edificio es muy grande, ocupa una manzana entera y me había dado una llave para entrar al patio interior y llevárselos hasta casa y ahora me dice que se la devuelva, que espere fuera de la urbanización con los niños a que el baje hasta la calle y que espere en la puerta principal, no por el portal donde tengo la llave aún, lo que supone un gran rodeo ¿Y si un día no está en casa? ¿Y si hace mucho frio y lo tenemos que soportar hasta que él baje? Esto me está causando un trastorno a mí y a mis hijos. No entiendo ese cambio y por que no tener una relación normal y correcta de entrega como hasta ahora. Querría saber si legalmente él puede imponer esas reglas y qué se considera por domicilio, la puerta de la urbanización, la de su portal o la de su piso y que puedo hacer al respecto como ponerlo claramente en el Convenio regulador de la custodia.