¿Se veía bien el video antes de subirlo a YouTube?
El formato, en estos casos, es mejor un MPEG-2, aunque da un poco igual. Y prueba a ver si la conversión del video está bien.
Aunque pongas formato MPEG, hay otras opciones como tamaño de marco, calidad del sonido, etc. Tu programa establece estos como estandares. Modifica alguno de estos valores para ver cual se adapta a tu video.