Deducción por reinversión de venta de una vivienda privativa y compra de una ganancial

Me compre una vivienda en 2001 con carácter privativo, en 2004 me casé en gananciales y en 2007 yo vendí la vivienda (privativamante) y mi mujer y yo compramos una vivienda en gananciales y la ganancia patrimonial obtenida por la venta de mi vivienda (91876 €) la destiné a reinversión de la nueva vivienda imputando la ganancia de la venta de mi vivienda a medias.

Este año me revisan la declaración y me dicen que sólo está exenta una parte de la ganancia obtenida (47188 €) con la venta de la vivienda mía ya que la imputación a los dos cónyuges no es posible y deducir todo por reinversión solamente yo tampoco porque la vivienda es al 50% (compra en escrituras 310.000 e hipoteca pedida 170.000) por lo que yo he puesto esa diferencia en reinversión (140.000).

Quiero saber primero si la venta de la primera vivienda se podría considerar ganancial y por tanto los dos nos deduciríamos el total de la ganancia patrimonial a medias, y si no es así legalmente, si por el contrario yo imputaría el total de la ganancia (los 91.876 €) a la adquisición de la nueva en gananciales pero de mi parte del 50% es decir de los 155.000 euros de la mitad del valor de la vivienda (pagando un gran porcentaje de mi parte de la vivienda).