Cargado de videos online

Buenas quisiera hacer una pregunta de algo que nunca entenderé sobre cuando ves videos online. Hoy en día es normal una conexión de unos 4-6Mb de internet, lo que se traduce en unos 500-600KB/es de bajada reales. No entiendo entonces como un video que pesa unos 700Mb y dura 80min tiene un peso de unos 150-200Kb cada segundo no entiendo entonces porque los videos se quedan parados, y tienes que precargarlos antes de visualizarlos. Podría ser por el tamaño de la web pero una vez esta cargada no transmite tantos datos como para eso suceda. Alguien ¿sabe a que se debe esto? Ya que si fuera problema del servidor iría igual de rapido tuviera la conexión que tuvieras. Pregunto esto porque no creo que me suceda a mi solo y me gustaría saber cual es el problema. Salvo que las lineas de internet sean irreales, sino algo falla...