Me piden comisión sin enseñarme el piso

Estoy buscando piso y tengo a cinco agencias llamándome ofreciéndome en enseñarme pisos, como es casi imposibles encontrar particulares.
Una de estas agencias me llamo por si estaba interesado en ver un piso, le dije que sí, entonces le estuve llamando tres días seguidos para quedar y me daba largas con razón o sin ella no lo se, entonces al cuarto día le volví a llamar y me lo cogió otro agente y quedamos en la calle de dicho piso en un numero sin concretar, estuve esperando y allí nadie aparecía, entonces mientras llamaba por teléfono a unos pisos que venían anunciado en las fachadas me vino una persona y me dijo que si buscaba piso, y yo le dije pues sí que estaba esperando a una agencia pero no ha aparecido, y me dice pues si quieres verlo sube, hablando con el dueño comprendimos que ese era el piso que me iba a enseñar la agencia entonces yo le pregunte que si estaba obligado a venderlo a trabes de la agencia y me dijo que el no tenia firmado nada con la agencia que incluso lo tenia anunciado por internet entonces acordamos un precio y decidimos hacer la venta entre nosotros, total yo no tengo firmado como que este piso me lo haya enseñado la agencia, ni tengo firmado una exclusividad con ellos.
El problema es que la agencia empezó a coaccionar al propietario para que le dijera quien lo había comprado, cansado di la cara y les llamé diciéndoles que había sido yo, entonces al día siguiente nos llamaron al dueño y a mí diciendo que estábamos obligados a pagarles la comisión, al negarnos siguieron llamando intentándonos asustar y lo ultimo es unas cartas certificadas para acudir a un abogado antes de cinco días yo la carta ni la he recogido de correos pero el propietario sí.
La pregunta es sencilla ¿estamos obligados al pago de alguna comisión.?
¿Qué podemos hacer?