Como padre puedo perder la custodia de mi hija

Sucede que desde lo 6 meses yo me hago cargo de mi hija en cuestiones de cuidado alimentación, educación, higiene bueno todo el cuidado que requiere ya que su mama se hizo la enferma para que la medicaran y dejara de darle pecho a la bebe y poderse ir a trabajar ya que ella no aguantaba estar encerrada yo en esos momentos estaba buscando empleo pero ella ya se me había adelantado y sin más se fue a trabajar dejando a la niña su propocision fue que a esa edad se la encargara a su mama por lo que yo me negué ya que ella tiene otro hijo que tampoco cuida y que se lo cuida su mama es muy irresponsable con sus hijos por que su mentalidad es que mientras ella les de todo lo que le pidan ellos van a estar bien y les compra juguetes y cosas que no causan algunprovecho.
Yo me dedico al comercio y reparo aparatos electrónicos, en la casa de mis papas esta el negocio por lo que tengo el tiempo de ver a mi hija que hoy en día tiene 2 años la atiendo y todo el problema es que tengo 20 días que me separe de esta persona me lleve a mi hija con su ropa sus cosas y ella no opuso resistencia a que yo me la llevara siempre y cuando se la dejara el día que descansa y que si necesitaba cosas para la niña se las pidiera situación que no ha ocurrido por que su abuelita de mi hija en todo se mete afectando la relación con su mama de mi hija por eso nos separamos y aun sigue molestando la señora aconsejándola para que me quiten a mi hija.
Que puedo hacer