Voltaje cargador usb

Como bien dices el exceso de amperaje no es problema, pues solo representa la corriente máxima que puede suministrar el cargador. Tu cargador puede suministrar hasta 1 amperio (1000 mA) y el mp4 solo necesita 0,4 amperios (400 mA). Hasta aquí todo bien.
En teoría, el exceso de 0,5 voltios es inadecuado para las baterías, pues producirá una sobreintensidad de carga, con un posible daño (a medio-corto plazo ) para las mismas (se notará primero, porque se calentaran). En todo caso el daño no será instantáneo, solo por el hecho de conectar, sino que primero deberás notar un ligero calentamiento de las baterías de tu mp4 y posiblemente también del caragador USB.
Tampoco es muy seguro que así fuese, pues algunas de estas fuentes de alimentación tienen lo que se llama una resistencia interna bastante elevada, es decir, que los 5,5 voltios los dan sin carga, pero cuando deben suministrar 400 ó 500 mA, su tensión de salida es más baja ( o lo mejor cercana a los 5 voltios). Por eso, una cosa es la teoría y otra la practica.
Entonces me dirás ¿así qué hago?.
Yo te sugiero:
1.- El uso de un diodo en serie
De cualquier tipo como el 1N4007-4007
Que por retener típicamente 0,5-0,6 voltios a las intensidades antes mencionadas, te serviría para eliminar el problema. Supongo que la pega estará en como colocarlo en la practica.
2.- Si no te es posible colocar este diodo de alguna manera en serie con el positivo del alimentador, conecta tu fuente de alimentación al mp4 y observa si se produce calentamiento anormal (al cabo de unos minutos (5 o más) en las baterías del mp4 y también observa el calentamiento de la fuente de alimentación USB. Si no hay calentamientos excesivos en ninguno de los dos elementos, pasa de todo y sigue usándolos, pues la resistencia interna de la fuente de alimentación es suficiente para compensar los 0,5 voltios de más.
No temas hacer la prueba, pues en todo caso, el daño no se produce de inmediato, sino después de un periodo de calentamiento, que te da tiempo suficiente para desconectar y dejar enfriar los equipos.

Teóricamente todos los componentes y demás, deben aguantar un +- 5 % de tolerancia, eso quiere decir que debería aguantarte... Pero si no quieres arriesgarte, existe un regulador de tensiones un circuito integrado, el 7805, de 5 V que te estabilizaría ese medio voltio de más, también debo decirte que tampoco es 5 V exactos... te puede dar alguna variante tanto de más como de menos, sin embargo dado que es un circuito serie, un regulador serie de tensiones es muy posible que lo de más, se quede en el consumo interno del propio regulador, ya que algo de energía te gastaría, pero es una buena opción, lo puedes encontrar en cualquier comercio es muy corriente...

No hay problema, estos cargadoras USB tienen un voltaje estándar de carga y tienes razón la corriente indica el máximo que puede entregar el cargador y no necesariamente el que va a consumir tu MP4, así que conéctalo con confianza.