¿Alguna limitación para tener muchos archivos en un directorio en Mac OS X?

Tengo más de 100,000 archivos en un directorio en mi MacOS X y parece que es lento para mi script leer un archivo en ellos.

¿Hay alguna limitación o recomendación para tener tantos archivos? ¿Debería dividirlos en algunos directorios?

La limitación que encontré fue que no puedo mv * foopara todos los 100,000 archivos. Muestra un error, diciendo "argumento demasiado largo". Funciona con aproximadamente menos de 20,000 archivos.

Según esta respuesta de Stack Overflow y detalles específicos en el sitio de Apple , una carpeta individual puede contener hasta 2,1 mil millones de elementos.

Dicho esto, solo porque puede contener hasta 2,1 mil millones de artículos no significa que pueda mantener el rendimiento a ese nivel. De acuerdo con Wikipedia ; El énfasis es mío:

El archivo de catálogo, que almacena todos los registros de archivos y directorios en una sola estructura de datos, genera problemas de rendimiento cuando el sistema permite la multitarea, ya que solo un programa puede escribir en esta estructura a la vez, lo que significa que muchos programas pueden estar esperando en la cola debido a un programa "acaparando" el sistema. También es un problema serio de confiabilidad, ya que el daño a este archivo puede destruir todo el sistema de archivos.

Por lo tanto, el rendimiento se degrada naturalmente gracias al hecho de que el archivo de catálogo solo puede ser utilizado por un programa a la vez. Y si el directorio crece en tamaño, el riesgo / degradación causada por ese problema solo aumentará; más archivos significa más oportunidades para que los programas accedan a los archivos en ese directorio. Confirmación adicional de esa idea aquí ; De nuevo el énfasis es mío:

El archivo de catálogo es una estructura complicada. Debido a que mantiene toda la información de archivos y directorios, obliga a la serialización del sistema de archivos, lo que no es una situación ideal cuando hay una gran cantidad de subprocesos que desean realizar E / S de archivos. En HFS, cualquier operación que cree un archivo o modifique un archivo de alguna manera tiene que bloquear el archivo del catálogo, lo que evita que otros hilos incluso tengan acceso de solo lectura al archivo del catálogo. El acceso al archivo de catálogo debe ser de escritor único / multireader.

Respuesta corta: Bueno, si estás leyendo 100,000 archivos, podría esperar que el script sea lento.

Respuesta larga: para responder a esta pregunta más a fondo, debe mirar el sistema de archivos en una Mac. Las Mac usan el HFS + ( Hierarchical File System Plus ), que es un sistema de archivos moderno que tiene limitaciones, pero solo en situaciones extremas.

Desde mi experiencia, se parece mucho a un sistema de archivos de registro diario Linux EXT. Admite directorios de montaje, permisos similares a UNIX, etc. Dirigió archivos en un formato de 32 bits, lo que hace que la cantidad máxima de archivos que se pueden almacenar en un volumen sea 4,294,967,295, según esta fuente.

El sistema de archivos comienza a romperse con archivos de más de 8 EB en sistemas modernos y hasta 2,1 mil millones de archivos y carpetas en una ubicación como se describe aquí .

Dada la forma en que HFS +, o en realidad cualquier sistema de archivos está configurado para eso, tener muchos archivos en una carpeta no debería hacer nada 'extraño'.

Honestamente, no creo que haya una mejora en el rendimiento al distribuir los archivos en una jerarquía de carpetas más compleja. En realidad, esta técnica podría ser menos eficiente porque su script tendría que hacer llamadas para cambiar los directorios a mitad del proceso.