Local negocio inquilino no presento retenci IRPF

Buenas a todos, tenemos un local comercial que hemos alquilado y en el que hay un bar. Los inquilinos son dos hermanos estando el contrato privado a nombre de uno de ellos. Ahora se han peleado y el titular del contrato se ha ido y el otro sigue con el bar. Las últimas facturas siguen haciéndose al titular del contrato (que como no está en el bar no las firma) pero nos tememos que no se están presentando las declaraciones de retenciones de IRPF por estas facturas.
¿Qué nos puede suceder a nosotros como propietarios/arrendadores por la falta de estos ingresos en Hacienda por las retenciones? ¿Puede ir Hacienda contra nosotros?