¿Tengo obligación de pagar atrasos del ibi?

Adquirí mi vivienda usada en 2006, de construcción en 2005 y hasta el año 2012 he estado tributando religiosamente por un valor catastral de 20.980 E. A principios de 2013 me notifican del ayuntamiento que el nuevo valor catastral de la vivienda es de 41.868 E por lo que el año 2013 he pagado de IBI poco mas del doble que en años anteriores. En diciembre me notifican esta vez que tengo que pagar la diferencia del valor antiguo y el valor nuevo de IBI de los últimos 4 años; algo mas de 600 E. Según me he informado la última inspección que se realizó antes de la de 2012, fue en 1996, fecha en la cual mi vivienda aun no estaba construida y en su lugar había una casa antigua con características que corresponden al valor catastral que antiguamente tributaba un servidor. Me comunican que se ha estimado que la modificación de la vivienda ha sido en 2007 (fecha que no corresponde con la realidad), y que desde entonces tengo que pagar la diferencia, pero no me pueden cobrar mas que 4 años por temas de prescripción de la falta. Añadir que cuando compré mi casa, ésta no tenía ninguna carga como así comprobé con nota simple y fue construida con todos los permisos que marca la ley. Quisiera saber si esto ha sido una negligencia por parte de la administración y tengo que pagar yo los platos rotos.