¿Qué puedo hacer si no me devuelve la fianza de un trabajo que no realizo?

Paso a detallar mi caso. Hace un año pagué una fiaza de 650€ para que me pusieran las puertas de unos armarios. Iban pasando los meses y todo eran escusas tipo "la fabrica no me las manda"" hasta que no haya un pedido mayor la fábrica no las hace"... Como segunda opción y para que no tuviera que devolvernos nada, cambiamos el tipo de puertas para que pudiera contactar con otro proveedor, pero tampoco sirvió de nada. Le dijimos que si no podia hacer el trabajo que nos devolviera el dinero a cuenta y que ya lo hariamos por otro lado. Acepta devoverlo en unos días. Al pasar los días y no haber señales de dinero, volvemos a llamar y dice que ya ha reclamado el dinero a su empresa proveedora, que él le dió nuestro dinero a cuenta a ellos y que en cuanto paguen nos lo da. Le insistimos en que nosotros le dimos el dinero a él (no sabemos si lo que dice es cierto) y así figura en el papel que tenemos firmado de su puño y letra con el presupuesto y el dinero entregado. Al mes nos devuelve 250€ y en acto de buena fe le dimos la opción de devolver lo que quedaba en varios plazos pero desde entonces todo han sido escusas, ya ni siquiera contesta a los mensajes que sabemos que lee. He consultado a un abogado pero me ha dicho simplemente que he tenido mala suerte y que lo olvide. Me niego a perder 400€ y que alguien se los quede de "rositas". ¿Qué puedo hacer?