El ancho de bana del que dispones es tu problema. En cuento se juntan tres personas a ver el mismo video al mismo tiempo, se frena todo.
Servidores para videos economicos > http://www.crayonhost.net , http://www.cirtexhosting.com/ffmpeg-hosting.shtml y otros