Segregación galpón finca, suelo urbano

Buenas:

Quisiera quedarme con una pequeña construcción tipo galpón utensilios agrícolas de +-/22 M cuadrados que esta en un terreno de un vecino pegado al mio, la finca del vecino tiene sobre 1700 m con un chalet en el medio, mi finca, que linda con la suya tiene 1100m y es urbana, no hay ningún tipo de construcción, vamos a hacer un chalet en un futuro, la idea es quedarnos con ese pequeño galpón agrícola del vecino que linda conmigo,segregándolo de su finca y agregándola a la mía, ya llegamos a un acuerdo económico con el vecino y pondrá todas las facilidades. Hablamos con arquitecto del ayuntamiento y si bien al principio nos dijo que si, que autorizaría la segregacion/agrupacion,ahora en el momento de hacerlo con mi arquitecto, nos dice si no hay construcción principal (chalet o casa en mi finca)no se puede hacer la segregacion/agrupacion.Mi pregunta es si en suelo urbano se puede hacer un galpón usos agricloas o solo casa/chalet.No se si hay una normativa superior a la cual nos podamos acoger, en la normativa del Ayuntamiento no especifica claramente que tenga que haber construcción principal.Por cierto tampoco nos autorizaría piscina sin construcción principal. Pido opiniones y experiencias similares.La zona es en Galicia, provincia:Orense, en Ayuntamiento pequeño. Gracias, saludos