Empadronamiento en vivienda de una sola referencia

Tengo una vivienda con dos plantas y acceso a dos calles. Vivimos dos familias, queremos empadronarnos cada una en una de las que da acceso a la vivienda y el ayuntamiento nos lo deniega porque dice que solo hay una referencia catastral y todos debemos estar empadronados en la calle de la referencia catastral, que puedo hacer.