Ciao
Asegurarse que el servidor tenga la suficiente capacidad para enviar los datos con rapidez a todos los que estén conectados, te aconsejo un servidor de streaming.
Hacer la pagina muy ligera (no más de 200kb) para no retrasar innecesariamente el comienzo del video, calcula que si el video no se ha cargado en 10 segundos se te irá el 30% de los visitantes sin ni siquiera empezar a verlo.
Si nos dices el formato de la señal, a lo mejor te puedo dar más información.