Comprar piso visitado con inmobiliaria sin parte

Hola, hace cuatro meses visité un piso con un agente inmobiliario, el cual me gustó, pero no llegamos a un acuerdo en el precio. No firmé nada en ningún momento, sólo accedí a que anotaran mis datos en lo que llamaron "una ficha para avisarme de los pisos que me pudieran interesar". Nunca había utilizado los servicios de una inmobiliaria, pero no me gustó: me llamaban constantemete y a cualquier hora (aún sabiendo que estaba en el trabajo), incluso en una ocasión me instaron a que fuera a llevar mi documentación y 2000 euros de señal con tan sólo haber dicho que me gustaba uno de los pisos que visité, además de exigirme el pago de 3000 euros por sus servicios, sin haber firmado ningún contrato, ni nada parecido. Tras este tiempo no he encontrado otro piso, y decidí ponerme en contacto directamente con el propietario por si me ofrecía un precio más bajo, como ha ocurrido, pero mi sorpresa ha sido que éste me ha informado de que la inmobiliaria nos puede demandar. A mí la inmobiliaria no me informó en ningún momento de nada. Quisiera saber que problemas puedo tener si sigo con la operación de compra (que el propietario está dispuesto a realizar)