Autorización de modificación de mi terraza

Estoy viviendo actualmente en un edificio en el cual somos 4 vecinos, y no hay constituida ninguna comunidad de propietarios (aunque dos de los vecinos "hermanos", la representan).
El edificio en sí está constituido de bajos (un local almacen comercial "1 propietario", que abarca todo los bajos del edificio, una primera planta son dos viviendas (una de ellas la mía, más la de al lado que corresponde a uno de los hermanos) y la segunda planta del otro hermano, que abarca la superficie las viviendas de abajo, tanto la mía como la del hermano.
Yo tengo una terraza de unos 90 m2 y quiero construir (ampliar) con madera, la vivienda, la terraza contigua del vecino es idéntica a la mía (ésta separada por un muro de algo más de dos metros).
Resulta que tanto el vecino de arriba que tiene vista directa a ambas terrazas (hermano del otro), dice que si amplio la vivienda me puede denunciar, aun a pesar de que la construcción no le limitaría en nada la vista que tiene actualmente, tan solo que en vez de ver mi terraza vería el techo de la ampliación. Y ademas no es perceptible desde la calle porque está al otro lado del edificio (trasera) ni molesta a otros vecinos.
El vecino de la planta baja me apoya, pero los dos hermanos están en contra y me siguen amenazando de que me denunciarían porque ellos no están de acuerdo, ¿hay alguna posibilidad de poder seguir adelante?. ¿Ya qué la obra que pretendo hacer me va ha costar más de 11.000?.
Muchas gracias de antemano.
Manuel Payeras Roca