No hay un límite escrito en el tamaño, pero creo que si la imagen supera o llega cerca de los 3000px, YouTube ajusta el tamaño (lo reduce). Yo recomendaría que fuera de 1920px de ancho como mínimo, para que se vea bien en monitores con resoluciones altas. La altura como tú la quieras.
El contenido del canal es de 970px de ancho.
Mi fondo de canal actual es de 2500x1080.