Sacar un terreno del pgou

Hace unos años un constructor nos ofreció a varios vecinos juntar nuestros terrenos y hacer pisos... Caimos como tontos y entramos en un plan general que transformo nuestras parcelas de 5oom en una zona de pisos, una unifamiliar con 4 adosados y una calle sin salida que dividia ambas partes. Yo nunca lo ví claro pero por no enfrentarme a mi familia (y porque era muy joven y no entendía), accedí. Se nos caduco el contrato del constructor y no se hizo nada. Mis padres tienen la casa dentro y mi cuñada y el vecino... Por lo que ellos siguen ahí viviendo y tan bien, pero yo estoy pagando en catastro 522 metros en urbano que se supone que ya no tengo y quisiera construir una vivienda unifamiliar en él.. La comunidad de Madrid me dice que es el Ayuntamiento el que de buena fe me tendría que dar permiso para construir, pero todo el mundo me dice que no se puede. Yo quiero sacar mi terreno de ese plan general y que vuelva a como estaba o que me dejen construir, pero claro, he mirado en el SIT de la CAM y veo que tengo medio terreno unifamilar, ¿medio residencial y la calle por medio de mi terreno también... Alguien puede decirme que puedo hacer?, porque ando perdida