Provincias españolas

Lo primero que he de decirte es que el nombre de las provincias se eligió, en diferentes etapas de la historia, según diferentes criterios.
En el caso de tener el nombre de su capital, muchas veces ha sido por el nombre de la ciudad más importante en ese momento.
Pero hay casos en los que, como bien dices, el nombre no coincide. Esto se debe, entre otras cosas, a la identidad de pertenencia a un nombre, en algunos casos. Por ejemplo, en el caso que indicas, seguro que la mayor parte de alaveses no se sienten, para nada, vitorianos. Esto se debe a que el territorio, ya desde tiempos de Castilla como reino, se llamó Alaba, y comprendía tres ducados y dos condados diferentes, unificados tras varias generaciones. Luego, durante siglos, han sido alaveses, pese a que uno de los condados, el de Vitoria, hubiera predominado frente al resto.