Baja voluntaria durante período de prueba

A principios de agosto me llamaron de una empresa. El día 2 estuve rellenando unos papeles, y me dijeron que me pasara el 5 a firmar el contrato. El 5 pasé a firmar, pero el contrato no estaba. Aun así, me dijeron que podía empezar a trabajar el 6 y que ya firmaría más adelante. Yo dije que sin contrato no quería trabajar. Después de un rato, me convencieron, y me dijeron que esperara para decirme dónde debía ir al día siguiente y a qué hora. Tras casi dos horas de espera les dije que me tenía que ir, y que por favor me avisaran. Quedaron en eso, en llamarme. Llamada que nunca se produjo, por lo que pensé que habían decidido prescindir de mí. El caso es que el día 27 me llaman del centro donde supuestamente tenía que haber ido a trabajar, y me dicen que me pase el día 28. Al decirles que no tengo uniforme, ni contrato, se sorprenden y me dicen que hablarán con la empresa. A las horas me llaman de la empresa, y me piden que me pase por la oficina el día 28. Así lo hago... Y en la oficina me dicen que por qué estoy en casa sin ir a trabajar, desde el día 6 en el que -ellos dicen- me dieron de alta. Yo les explico que, al no firmar el contrato, ni recibir ninguna llamada, di por hecho que no había ningún tipo de relación laboral. Pues bien... Me dicen que yo voy a cobrar todos estos días, desde el 6 de agosto, y que, por tanto, tengo que recuperar las horas no trabajadas en los próximos meses. Llegados a ese punto, me siento presionado y firmo el contrato, que ahora sí, me ponen delante. Lo firmo... Sin darme cuenta hasta llegar a casa de que han puesto fecha 6 de agosto.

Mi pregunta es: ¿Realmente tengo que recuperar esas horas que me dicen? ¿O puedo, tras unos días de trabajo, comunicar a la empresa mi baja voluntaria por no superación del período de prueba (en este caso son 50 días), y no ir más a trabajar? ¿Podrían reclamarme esa cantidad que dicen haberme pagado sin ir a trabajar?