No pagar si no me aportan factura

Buenas tardes,

Hace dos años pagué por el traspaso de un local 20.000€, cantidad que negociamos fuese satisfecha en dos plazos, un primero de 15.000€ y un segundo al año siguiente de 5.000€. Firmamos el contrato por ambas partes, el cual no está sujeto a IVA por ser una transmisión del negocio en su conjunto. Tras haber realizado el primer pago le reclamo la factura, puesto que a mi me desgrava al tratarse de un gasto 100% declarable en la contabilidad de la empresa. La persona en concreto se niega a hacerme la factura porque imagino que le picará tener que pagar a hacienda. Como no me quiere dar la factura yo me he negado a hacer el otro pago de 5.000€, aludiendo que la necesito la factura. Este hombre me ha dicho que me va a llevar al juzgado por no pagarle. Mi pregunta es la siguiente:

- ¿Estoy haciendo lo correcto al no pagarle por no darme la factura?

Gracias!