Que régimen de visitas se establecen para un bebe de año y medio

Tengo una hija de un año y medio, me separe cuando aun no había nacido pero el padre la reconoció..

A día de hoy la niña tiene 1 año y medio, el padre últimamente viene a verla de vez en cuando (un día a la semana), pero hasta hace un tiempo se tiraba meses enteros sin venir. El caso es que ahora va a tener otro hijo y ha venido diciéndome que va a pedir la custodia porque se a informado y al tener otro hijo se la van a dar porque por ley al ser hermano de mi hija tienen que estar juntos.

Yo en su momento no pedí la custodia porque como no venia a ver a mi pequeña tenia miedo que se la tuviera que llevar los fines de semana ya que para ella es un desconocido. Nunca le e pedido dinero, tampoco me a pasado nunca nada para los gastos de mi hija, nunca le e negado que venga, al contrario..

Y ahora tengo tanto miedo. El se lo toma como si esto fuera un juego.

Y cuando viene tengo que soportar que me diga "que me la va a quitar" y me quedo mal.

¿Qué hago? ¿Qué puedo hacer?