Puedo poner casa prefabricada en terreno urbano su2?

Tengo un terreno urbano de 1400m catalogado como su2 (tipo de ordenación vivienda colectiva), siendo compatible los usos señalados para SU1 (vivienda unifamiliar). He acudido al arquitecto municipal para informarme y poner una casa prefabricada que sería mi vivienda habitual y me encuentro con su negativa a poner ninguna vivienda unifamiliar si no existe un plan de urbanismo elaborado junto a los propietarios colindantes dirigido a construir edificios de pisos, lo cual es prácticamente imposible. Mi pregunta es, ¿es correcta la interpretación del arquitecto o puedo exigir la colocación de la vivienda?