¿Cómo defender la patria potestad de mi hija?

Buenos días. Mi caso es el siguiente: el padre de mi hija quiere exigir la patria potestad, pero por fastidiarme, pero la niña lleva mis apellidos ya que el en su momento no se la quiso dar ya que decía que eso le afectaba en su vida y portal quedo con mis apellidos, regresamos a pesar de la situación, pero ahora de nuevo nos separamos, yo lo cite antes las autoridades por estar molestándome o acosándome, más no le estoy pidiendo nada solo quiero que no me moleste, pero no acude a las citas con las autoridades, ya que según el peleara a su hija y que pedirá la prueba de dhn para que tenga el derecho, mi duda es que posibilidad hay de que el me quite a mi hija si comprueba que es de el, puede exigir que lleve sus apellidos, la verdad que yo no quiero nada de el, ni pensión, ni nada yo solo quiero que nos deje de molestar y chantajear.
Datos adicionales: el anda con otra persona y ademas en el vicio del alcohol así que no creo que sea buena idea que quiera ahora tener a su hija.
Mucho agradecería su apoyo.