Seguramente es algún condensador de la fuente de alimentación. Que necesita calentarse para funcionar.
Haz una prueba:
Cuando arranques por segunda vez apagalo y lo vuelves a encender, debería encender a la primera.
Luego lo apagas y dejas que se enfríe y lo vuelves a encender. Seguramente tendrás que volverlo a encender para que funcione.
La prueba definitiva seria, desconectas la fuente de la placa base, tarjeta de video, disco duro...
Esto estando fría y que debería de fallar.
Con un cable le haces un puente entre el verde y negro (si es ATX) la dejas encendida 5 min.
Apagas la fuente, quitas el cable, reconectas todo y enciendes.
Si te enciende a la primera, es un condensador de la fuente de alimentación que esta descapacitado y necesita calor para "recuperarse".
Si no enciende puede ser que sea algún condensador de la tarjeta de video o de la placa base.
De todas formas puedes hacer un reconocimiento a la placa base a ver si tiene condensadores hinchados:
Los 5 de la flecha roja están para cambiarlos.