Lindes e infracción urbanística

Hola amigos, lo primero agradeceros de antemano vuestra ayuda.

Os cuento, en el año 2010 compre una casa en suelo urbano pero que no cumplía lindes, estaba construida pegada al fondo de la parcela y pegada al vecino por la parte izquierda. El Tasador me dijo que no había problema ya que la infracción había prescrito llevaba mas de cuatro años construida así. Decido ampliar la vivienda y poner tejado, como no puedo solicitar licencia de obras por no cumplir lindes hablo con el vecino de al lado y me da su aprobación. Ahora dos años después el vecino quiere subir el muro medianero, yo le digo que sin ningún problema que suba lo que necesite, me dice que pague la mitad de la obra que sino me denuncia por la obra que yo hice sin licencia.Alucino con el comportamiento y las maneras, no se puede ir amenazando a la gente de entrada.No sé que hacer, igual dentro de dos días viene con alguna otra amenaza.El también tiene cosas "no legales" como un muro trasero de su parcela que acaba de hacer de mas de un metro de bloque. Me gustaría saber vuestra opinión, que hago asumo la media parte del gasto,que supondría su denuncia, derruir lo hecho, que importe de multa?, estoy hecha un lio. Gracias por vuestra ayuda....