Borre la caché de archivos para repetir las pruebas de rendimiento

¿Qué herramientas o técnicas puedo utilizar para eliminar el contenido del archivo almacenado en caché para evitar que los resultados de mi rendimiento se desvíen? Creo que necesito borrar completamente o eliminar selectivamente la información almacenada en caché sobre el contenido de archivos y directorios.

La aplicación que estoy desarrollando es una utilidad de compresión especializada y se espera que haga mucho trabajo leyendo y escribiendo archivos que el sistema operativo no ha tocado recientemente y cuyos bloques de disco es poco probable que se almacenen en caché.

Deseo eliminar la variabilidad que veo en el tiempo IO cuando repito la tarea de perfilar diferentes estrategias para realizar el trabajo de procesamiento de archivos.

Estoy interesado principalmente en soluciones para Windows XP, ya que es mi máquina de desarrollo principal, pero también puedo probar usando Linux, por lo que también estoy interesado en las respuestas para ese entorno.

Probé SysInternals CacheSet , pero hacer clic en "Borrar" no da como resultado un aumento medible (restauración del tiempo después de un arranque en frío) en el tiempo para volver a leer los archivos que acabo de leer algunas veces.

Utilice la aplicación RAMMap de SysInternal .

La opción de menú Empty / Empty Standby List borrará el caché de archivos de Windows.

Para Windows XP, debería poder borrar el caché de un archivo específico abriendo el archivo usando CreateFile con las opciones FILE_FLAG_NO_BUFFERING y luego cerrando el identificador. Esto no está documentado y no sé si funciona en versiones posteriores de Windows, pero lo usé hace mucho tiempo al escribir código de prueba para comparar bibliotecas de compresión de archivos. No recuerdo si el acceso de lectura o escritura afectó este truco.

Una búsqueda rápida en Google ofrece estas opciones para Linux

1. Desmontar y montar la partición que contiene los archivos
2. sync && echo 1 > /proc/sys/vm/drop_caches

Puede encontrar una utilidad de línea de comando aquí

de la fuente:

EmptyStandbyList.exe es una herramienta de línea de comandos para Windows (Vista y superior) que puede vaciar:

• conjuntos de trabajo de proceso,
• la lista de páginas modificadas,
• las listas de espera (prioridades 0 a 7), o
• la lista de espera de prioridad 0 solamente.

Uso:

EmptyStandbyList.exe workingsets|modifiedpagelist|standbylist|priority0standbylist

 #include <fcntl.h>

int posix_fadvise(int fd, off_t offset, off_t len, int advice);

con opción de aviso POSIX_FADV_DONTNEED:
No se accederá a los datos especificados en un futuro próximo.

Encontré una técnica (además de reiniciar) que parece funcionar:

1. Ejecute algunas copias de MemAlloc
2. Con cada uno, asigne grandes cantidades de memoria varias veces
3. Utilice Process Explorer para observar la reducción del tamaño de la caché del sistema a niveles muy bajos
4. Salir de los programas MemAlloc

Sin embargo, no es selectivo. Idealmente, me gustaría poder borrar las porciones específicas de memoria que se utilizan para almacenar en caché los bloques de disco de los archivos que quiero que ya no se almacenen en caché.

Para una mejor vista de la caché del sistema de archivos de Windows XP, pruebe ATM de Tim Murgent , le permite ver tanto el tamaño del conjunto de trabajo de la caché del sistema de archivos como el tamaño de la lista en espera en una vista más detallada y precisa. Para Windows XP: necesita la versión antigua 1 de ATM, que está disponible para descargar aquí, ya que V2 y V3 requieren Server 2003, Vista o superior.

Observará que aunque Sysinternals Cacheset reducirá el "Cache WS Min", los datos reales aún continúan existiendo en forma de listas en espera desde donde se pueden usar hasta que se reemplacen con otra cosa. Para luego reemplazarlo con otra cosa, use una herramienta como MemAlloc o flushmem de Chad Austin o Consume.exe de las herramientas del Kit de recursos de Windows Server 2003 .

Dado que la cuestión también pidió para Linux, hay una respuesta relacionada aquí .

La herramienta de línea de comandos vmtouch permite agregar y eliminar archivos y directorios del caché de archivos del sistema, entre otras cosas.

Hay una llamada a la API de Windows https://docs.microsoft.com/en-us/windows/desktop/api/memoryapi/nf-memoryapi-setsystemfilecachesize que se puede usar para vaciar el caché del sistema de archivos. También se puede utilizar para limitar el tamaño de la caché a un valor muy pequeño. Parece perfecto para este tipo de pruebas.