¿Por qué regurgita mi bebé la leche de mis pechos que le doy con el biberón?

Gracias por la pregunta y te pido disculpas por la excesiva demora en la respuesta.
Supongo que a estas alturas ya habrás solucionado ambos problemas, pero, en caso contrario, ahí te van algunos consejillos.
En cuanto a lo de la ropa adherida, imagino que tu bebé ya habrá botado el cordón y, junto con él, el trozo de tela. Si no es así, no te preocupes puesto que lo más seguro es que, al secarse completamente el ombligo, termine por botar todo; para mayor tranquilidad, es probable que te hayan aconsejado limpiarle la zona del ombligo con un algodón humedecido en alcohol; eso es de mucha ayuda y no le provocarás ningún dolor (seguro le moleste un poco el frío del alcohol, pero te aseguro que no les duele). Lo que siempre sirve para limpiar cualquier zona de la piel de bebés tan chiquitos y, con ninguna contraindicaciópn, es el suero fisiológico (similar al que se les aplica a los pacientes en los hospitales) y que venden en cualquier farmacia; es completamente inocuo, inofensivo, y es excelente para limpiarles la piel. Asimismo, no sé si te lo habrán dicho ya, pero la misma leche materna es fantástica para la piel de los bebés (y la tuya propia, si tienes llagas en los pezones, producto del amamantamiento), incluso algunas mujeres ocupan su leche para limpiarles los ojitos a sus hijos.
Finalmente, en cuanto a que regurgite la leche que le estás dando con botella, puede deberse a múltiples razones. Una de ellas puede ser la técnica que estés empleando y que el niño esté tomando aire conjuntamente con el líquido (lo cual es sumamente frecuente, sobre todo si es un poco ansioso al mamar); otra razón por la que devuelva la leche, y que es bastante común en mi país, es que sufra de reflujo (es decir, que su propio organismo inmaduro impida que obsorba adecuadamente el alimento), lo cual tiene un necesario tratamiento pediátrico. Y otro motivo, ya menos común, y de solución un poco más cara, es que presente cierto tipo de intolerancia a tu leche (como intolerancia a la lactosa), lo que se determina mediante exámenes médicos y se aborda incorporando en la alimentación una leche especial, de más alto costo, y el cese de la lactancia materna. Para ello, asegúrate de consultar a un pedaitra no sólo de tu confianza, sino muy recomendado, ya que no todos manejan la misma capacitación.