El reproductor de html5 presenta muchas fallas a la hora de cargar un video, antes preferia la funcion de guardar en la cache de flash al menos podia volver a iniciar el contenido y reproducir lo que se habia almacenado en la cache hasta que completara la carga del video.
La verdad es que si funcionaba con flash porque no simplemente dejarlo trabajar en viejo conocido y dejar a los "gustosos" con HTML5, como dije en un principio.
HTML5 esta en pañales a como estuvo android en sus comienzos, yo en lo personal cambiaria hasta que sea mas robusto.