¿Cómo calcular medidas de centralidad en una red de borde de 4 millones usando R?

Tengo un archivo CSV con 4 millones de bordes de una red dirigida que representa a las personas que se comunican entre sí (por ejemplo, John envía un mensaje a Mary, Mary le envía un mensaje a Ann, John le envía otro mensaje a Mary, etc.). Me gustaría hacer dos cosas:

1. Encuentre medidas de grado, centralidad y (tal vez) centralidad de vector propio para cada persona.

2. Obtenga una visualización de la red.

Me gustaría hacer esto en la línea de comandos en un servidor Linux ya que mi computadora portátil no tiene mucha potencia. Tengo R instalado en ese servidor y la biblioteca de statnet. Encontré esta publicación de 2009 de alguien más competente que yo tratando de hacer lo mismo y teniendo problemas con ella. Así que me preguntaba si alguien más tiene algún indicador sobre cómo hacer esto, preferiblemente llevándome paso a paso ya que solo sé cómo cargar el archivo CSV y nada más.

Solo para darle una idea, así es como se ve mi archivo CSV:

$ head comments.csv
    "src","dest"
    "6493","139"
    "406705","369798"
$ wc -l comments.csv 
4210369 comments.csv

Lo que tiene es una lista de bordes, que se puede convertir en un objeto de red utilizando la biblioteca de red. Aquí hay un ejemplo usando datos ficticios.

library(network)

src <- c("A", "B", "C", "D", "E", "B", "A", "F")
dst <- c("B", "E", "A", "B", "B", "A", "F", "A")

edges <- cbind(src, dst)
Net <- as.network(edges, matrix.type = "edgelist")

summary(Net)
plot(Net)

Sin embargo, una advertencia está en orden: tiene una red muy grande y no estoy seguro de que una trama sea tan informativa. Probablemente se verá como una gran bola de estambre. Tampoco estoy seguro de qué tan bien manejan estas bibliotecas con conjuntos de datos tan grandes. Le sugiero que consulte la documentación de las bibliotecas de red, statnet y ergm. El Journal of Statistical Software (v24 / 3) ofrece varios artículos que cubren estas bibliotecas. El problema se puede encontrar aquí:

http://www.jstatsoft.org/v24

No creo que R sea la primera opción aquí (tal vez me equivoque). Necesitará grandes matrices aquí para indexar y preparar sus archivos de red en el formato de datos apropiado. En primer lugar, intentaré usar la biblioteca SNAP de Jure (Rob lo menciona en la publicación anterior) ; Está escrito en C ++ y funciona muy bien en redes grandes.

Gephi ( http://gephi.org/ ) podría ser una manera fácil de explorar los datos. Es casi seguro que puede visualizarlo y realizar algunos cálculos (aunque no lo he usado durante algún tiempo, así que no puedo recordar todas las funciones).

De la experiencia pasada con una red de 7 millones de nodos, creo que visualizar su red completa le dará una imagen ininterpretable. Podría sugerir diferentes visualizaciones usando subconjuntos de sus datos, como simplemente usar los 10 nodos principales con la mayoría de los enlaces entrantes o salientes. Secundo la sugerencia de Celenius sobre el uso de Gephi.

Si le preocupa el tamaño de la red, puede probar el igraphpaquete en R. Y si eso funciona mal dentro de R, podría funcionar mejor como módulo Python. O incluso el networkxpaquete para Python

¿Sospecha que la red tiene una pequeña cantidad de componentes conectados muy grandes? Si no, puede descomponerlo en componentes distintos que harán mucho más fácil calcular medidas de centralidad.

Hay varios paquetes de software R que uno podría usar, incluidos "sna" y "network". Una cosa en la que no confiaría necesariamente si tiene problemas de rendimiento con sna es NetworkX. Amo a NetworkX hasta la muerte, y lo uso para la mayoría de mis análisis, pero NetworkX está muy orgulloso de ser una implementación principalmente puramente Pythonic. No explota particularmente bien el rápido código precompilado, y a menudo supera a NetworkX por un margen considerable.