Nos gustaría almacenar millones de archivos de texto en un sistema de archivos Linux, con el propósito de poder comprimir y servir una colección arbitraria como servicio. Hemos probado otras soluciones, como una base de datos clave / valor, pero nuestros requisitos de concurrencia y paralelismo...
Estoy ejecutando algunos procesos pesados de E / S en mi estación de trabajo y recientemente los instalé iotoppara monitorearlos. Aquí hay una captura de pantalla reciente: Estoy un poco confundido acerca de las lecturas en la IO>columna. Indica que mi disco se está ejecutando a...
Ocasionalmente, algo en mi sistema comienza a martillar el disco. Me gustaría registrar datos que me permitieran saber sobre el uso de E / S por proceso, luego podría volver a él más tarde y ver qué sigue haciendo esto. ¿Cómo debo resolver este problema? Puntos de bonificación para resolver esto...
Parece findque tendría que verificar si una ruta determinada corresponde a un archivo o directorio de todos modos para recorrer recursivamente el contenido de los directorios. Aquí hay algo de motivación y lo que he hecho localmente para convencerme de que find . -type frealmente es más lento que...
Necesito deduplicar una gran lista de palabras. Probé varios comandos e hice algunas investigaciones aquí y aquí donde explican que la forma más rápida de deduplicar una lista de palabras parece estar usando awk. awk -> O (n)? ordenar -> O (n log n)? Sin embargo, descubrí que esto no...
Estoy ejecutando miles de procesos de fondo curl en paralelo en el siguiente script bash START=$(date +%s) for i in {1..100000} do curl -s "http://some_url_here/"$i > $i.txt& END=$(date +%s) DIFF=$(( $END - $START )) echo "It took $DIFF seconds" done Tengo un servidor dedicado...
Por ejemplo, para bziphay pbzip , una versión paralela de bzip. ¿Existe alguna herramienta de paralelización para sortmejorar el
Tengo un directorio con cca 26 000 archivos y necesito grep en todos estos archivos. El problema es que lo necesito lo más rápido posible, por lo que no es ideal hacer un script donde grep tome el nombre de un archivo del comando find y escriba coincidencias en el archivo. Antes del problema "la...
Me di cuenta de que cuando hago aplicaciones de escritura pesada, todo el sistema se ralentiza. Para probar esto aún más, ejecuté esto para hacer una actividad de disco (relativamente) baja en CPU y alta: john -incremental > file_on_SSD Esto bombea decenas de miles de cadenas por segundo a un...
La página del manual dice acerca de la barrieropción para ext4: Las barreras de escritura imponen el orden adecuado en disco de las confirmaciones de diario, lo que hace que el uso de cachés de escritura de disco volátil sea seguro, con alguna penalización de rendimiento. Si sus discos están...
Tengo dos sistemas Linux de doble núcleo instalados usando cgroups de Linux con núcleos relativamente recientes; uno está ejecutando Debian Squeeze, el otro Ubuntu 11.04 Natty Narwhal. He conseguido que el equilibrio de carga de la CPU con cgroups funcione un poco mejor en el sistema Debian a pesar...
Mis sistemas Debian Wheezy usan el deadlineplanificador. Estoy acostumbrado a usar ionicepara reprogramar la prioridad de E / S de los trabajos intensivos en disco en momentos de mucho trabajo, y anecdóticamente esto parece ayudar (pero no tengo ninguna evidencia sólida). La página de ionicemanual...
Cuando ejecuto el comando TOP, un proceso muestra un uso de CPU del 1208% y el tiempo total de uso de la CPU es del 81,7% con el modo IRIX activado. Cuando cambio al modo IRIX apagado, el proceso muestra un 99% de uso de CPU y el tiempo total de CPU del usuario es del 43%. ¿Alguna idea de lo que...
Parece que he puesto logcheck como una tarea programada y siempre que sea proceso de ejecución greppor logchecktoma alrededor de una cuarta parte de mi CPU. Ahora tengo ciertos momentos durante los cuales necesito toda la capacidad de mi CPU y hago que mi sistema tome la menor cantidad de recursos...
El poderoso straceme ha decepcionado. ¿Cómo es esto posible? time foomuestra que footarda varios segundos en ejecutarse ("real"), pero utiliza un tiempo de CPU insignificante, tanto en el espacio de usuario ("usuario") como en el núcleo ("sys"). Para los curiosos, foose define a...
Tengo una máquina Debian en mi LAN que sirve como servidor de respaldo para los demás. Tiene cuatro discos duros combinados en un dispositivo RAID 5 md de software, en eso un LVM y en ese btrfs. Las copias de seguridad se realizan utilizando rsync, y para un sistema de archivos de gran tamaño...
Solía haber una opción de configuración del núcleo llamada sched_user o similar en cgroups. Esto permitió (que yo sepa) que todos los usuarios compartan equitativamente los recursos del sistema. En 2.6.35 no está disponible. ¿Hay alguna manera de configurar mi sistema para compartir...
El parámetro swappiness controla la tendencia del núcleo a mover los procesos fuera de la memoria física al disco de intercambio. ¿Cuál es la configuración predeterminada y cómo configurarla para mejorar el rendimiento general
Buscando lo que uno puede monitorear perf_eventsen Linux, no puedo encontrar lo que Kernel PMU eventson. A saber, con perf version 3.13.11-ckt39los perf listeventos de espectáculos como: branch-instructions OR cpu/branch-instructions/ [Kernel PMU event] En general hay: Tracepoint event Software...
Tengo algunos problemas con la velocidad del rendimiento de la red en un servidor Linux que ejecuta Ubuntu 9.10. Las velocidades de transferencia en todos los tipos de tráfico son de alrededor de 1,5 MB / s en una conexión Ethernet por cable de 1000 mb / s. Este servidor ha logrado 55MB / s sobre...