El cómputo paralelo se modela frecuentemente utilizando una tasa local determinista de cómputo, sobrecarga de latencia y ancho de banda de red. En realidad, estos son espacialmente variables y no deterministas. Estudios como Skinner y Kramer (2005) observan distribuciones multimodales, pero el análisis de rendimiento parece usar siempre distribuciones deterministas o gaussianas (no solo inexactas, es inconsistente debido a la probabilidad positiva de latencia negativa).
¿Se han desarrollado modelos estadísticos de mayor fidelidad? ¿Tiene en cuenta la correlación cruzada en la computación / memoria local, la latencia y la variabilidad del ancho de banda?
performance
hpc
statistics
Jed Brown
fuente
fuente
Respuestas:
Desde la perspectiva de la informática no creo que tenga sentido hacer un modelo estadístico general para el tiempo de acceso a la memoria (latencia) y el ancho de banda de la memoria.
Tiene sentido crear un modelo estadístico para un algoritmo . Esto se debe a que cada algoritmo tiene un patrón de acceso a la memoria específico, los patrones de acceso a la memoria son relevantes para la jerarquía de la memoria caché, por ejemplo, un algoritmo con alta localidad de datos aprovechará los cachés de bajo nivel que se beneficiarán de tiempos de acceso a la memoria realmente rápidos, mientras que otros algoritmos tendrán que vaya hasta la RAM (o peor aún, la memoria de intercambio) y tenga tiempos de acceso extremadamente lentos.
Los valores de propósito general se dan desde el punto de vista de la arquitectura, puede verificar su arquitectura y buscar el tiempo de acceso desde un núcleo dado a una ubicación de memoria dada (digamos L3 caché). Tenga en cuenta que las arquitecturas recientes son NUMA de acceso a memoria no uniforme, lo que hará que su trabajo sea un poco más difícil.
fuente