iCloud Drive no está diseñado para hacer lo que estás buscando. iCloud es una solución de sincronización y no una solución de copia de seguridad. Está diseñado para brindarle acceso a todos sus archivos desde todos sus dispositivos, manteniéndolos sincronizados. No permite descargas selectivas de archivos (específicamente para lo que necesita).
La única opción que tienes (además de almacenar los archivos más grandes en un proveedor diferente habilitado para la nube, como Dropbox) es activar Optimize Mac Storage
desde System Preferences -> iCloud -> iCloud Drive -> Options
. No mencionaste el sistema operativo que tienes, así que asumo que es Sierra.
Ver esta página de soporte de Apple para otras formas de activar el almacenamiento optimizado mediante iCloud Drive. Desde esa página:
El almacenamiento optimizado en macOS Sierra puede ahorrar espacio almacenando su contenido en la nube y haciéndolo disponible a pedido. Cuando se necesita espacio de almacenamiento, los archivos, fotos, películas, archivos adjuntos de correo electrónico y otros archivos que rara vez utiliza se almacenan en la nube automáticamente. Cada archivo permanece donde lo guardó por última vez, y se descarga cuando lo abre. Los archivos que ha utilizado recientemente permanecen en su Mac, junto con las versiones optimizadas de sus fotos.