Demostrar el pago sin tener recibo de un alquiler

He estado dos 2 años en un piso de alquiler debido a mis estudios, este año me marcho del mismo. En este último mes de contrato (Junio actual) he decidido pagarle al dueño mediante la fianza, aún sabiendo que no se puede hacer tal y como pone en mi contrato, he decidido hacerlo ya que mis compañeros del año pasado que se fueron, tal un sin fin de llamadas, mentiras y poca transparencia, recibieron la fianza 6 meses más tarde. No quiero pasar por eso.
Tras discrepar con el dueño, finalmente aceptó a que al finalizar el contrato, yo daría las llaves del piso y en el caso de haber algún desperfecto se lo pagaría.
Mi sorpresa ha sido que su abogado se ha puesto en contacto conmigo diciéndome que o le pago sin utilizar la fianza o me lleva a juicio. Considero que es por meter miedo y no voy a cambiar mi postura, además el problema en todo caso se solucionará en 15 días, antes de cualquier celebración judicial.
Durante estos dos años, todos los inquilinos hemos pagado en mano, sin recibir ningún recibo por parte del dueño, siempre se ha negado a que le realicemos una transferencia bancario (imagino que no declara), hasta ahora había confianza. Entonces, tengo el temor a ponerme de malas con él ya que en el peor de los casos puede decir que no le he pagado ningún mes en dos años y yo no lo podría demostrar. Eso sí, siempre en el momento del pago han estado mis compañeros, y tenemos las facturas de luz y gas que el nos trae todos los meses para pagarlas. No sé si esto serviría de demostración.
De lo que me denuncia sería de pagarle el último mes con la fianza(que también podría decirle que el día que finaliza el contrato le pago el mes y él en el mismo momento me devuelve la fianza si legalmente es mejor, ya que así de lo que estaríamos hablando sería de un retraso en el pago de 15 días).
Mi temor es que si se pone de malas, como sabe que nunca nos ha dado ningún recibo de pago, me denuncie y me diga que no le he pagado nunca nada.