Sólo la persona que recibe la respuesta puede eliminarla, pero tú puedes usar ese mismo vídeo como respuesta a uno diferente y dejará de aparecer como respuesta al anterior.
Si quieres que no sea una respuesta para ningún vídeo, intenta enviarlo como una respuesta en video a otro vídeo que tú hayas subido y desde allí eliminas la respuesta.