Una batería de Litio, necesita un sistema de regulación de carga que CORTE cuando llegue al voltaje nominal de la pila, más 0,1 voltios: 4,3 voltios en tu caso.
Si le vas a aplicar 6 voltios, directamente, sin un sistema que lo interrumpa como tienen los celulares o netbooks en sus cargadores, vas a terminar arruinando el pack de baterías.
De paso, con 500 mA tardaría unas 37 horas en cargarse si esta completamente descargada... pero el tiempo dependerá de cuan descargada este al inicio.
Digamos que ese cargador no te sirve por dos razones:
-Es muy chico en corriente y demoraría muchísimo la carga
-No tiene limitación de tensión, y una vez a carga completa, te dañara la batería