En tu caso obligatoriamente has de usar un amplificador, no debes conectar nunca un altavoz a una salida de baja señal como es la de un mp3.
La potencia no la determina nunca la potencia que admite el altavoz sino la potencia que es capaz de entregar el equipo. Imagínate que el mp3 puede desarrollar una potencia de 0.5W sobre una carga de 16 Ohm (o 32 Ohm dependiendo del auricular); pues 0.5W son exactamente 0.5W indistintamente lo apliques sobre un altavoz de 25W o de 100W, eso por una parte. Por otro lugar tenemos el problema de la impedancia y es que lo habitual es que la salida de auricular de un mp3 tenga una impedancia de salida de 16 o 32 Ohm que es la impedancia que suelen tener los auriculares. Sin embargo los altavoces comprenden impedancias que rondan entre los 4 y los 8 Ohm. Estas impedancias tan bajas van a exigir al reproductor una potencia (un amperaje) que no puede suministrar; viene a ser algo así como que por ejemplo tú estás preparado para levantar un saco de 10Kg pero no uno de 25Kg y si te obligan a levantar los 25Kg pues lo mismo puedes llegar a levantarlo pero a base de dañar tu musculatura y algo similar es lo que ocurre con el parámetro de la impedancia aplicada a los amplificadores.
Resumiendo: No te queda más remedio que intercalar un amplificador entre el mp3 y tu altavoz, o conectarle un altavoz activo (con amplificador interior).