¿Un desconocido puede sacar dinero de mi cuenta?

Ayer dí a una persona que parecía honesta el número de mi cuenta bancaria. Sé que no debería haberlo hecho, pero me pareció una buena garantía dado que esa misma persona me ofreció la que parece ser la suya, para así justifcar una transacción en un sitio serio y fiable pero que no puede responder sobre la gente que en él pulula.
La persona no es española, y yo no estoy en España, por lo que me gustaría saber si eso podría ser un hándicap a la cuestión o simplemente un factor ornamental de tan curioso caso.
Mi pregunta es, sabiendo estos datos, pero no mi nombre, ¿puede tener acceso a mi dinero y beneficiarse con él a base de transferencias? ¿Debo de estar preocupado hasta el punto de anular la cuenta (solución drástica) o basta con que llame al banco, cuente el asunto y dé instrucciones para que se me notifique cada paso en la cuenta de forma que pueda autorizarlo o no?
Por favor, necesitaría una respuesta urgente. Hoy domingo los bancos está cerrados, pero mañana lunes es otra historia. Y me gustaría actuar con rapidez antes de emeterme en un verdadero lío, si es que el lío existe.
Les quedo muy agradecido.