Hola,
.CAMREC son archivos de video asociados con Camtasia Studio.
En realidad no es un video que YouTube pueda procesar. Únicamente puede leerlo el programa de edición que estás usando.
Desde el, tendrás que exportarlo o producirlo a un formato de video como .mp4
