Mi laboratorio está en proceso de configurar un pequeño servidor que contiene datos (principalmente datos de video e imagen, más algunos documentos) para el proyecto en el que nuestro grupo está trabajando en un momento dado. Históricamente, después de que termina un proyecto de investigación, los datos terminan siendo archivados al azar en un disco duro, o en una gran pila de DVD (o CD en los viejos tiempos), y / o parte del video terminó en casetes DV de Sony o incluso Cintas VHS (este laboratorio ha estado activo desde principios de los 90), O una mezcla de todo lo anterior ...
Pregunta: ¿Cuál es la mejor manera de (1) consolidar TODOS en el mismo formato Y medio de almacenamiento, y (2) ¿cuál es el mejor medio para el archivo a largo plazo de dichos datos para un acceso muy ocasional (por ejemplo, más de 30 años?)? Desafortunadamente, no tenemos un presupuesto de nivel empresarial (solo somos un laboratorio de ~ 10 personas), por lo que no podemos hacer cosas que cuestan cientos de miles de dólares.
¡Gracias!
PD: Teniendo en cuenta que nuestro video e imágenes anteriores son de menor resolución, pero los recientes son enormes, creo que estamos hablando de 30 ~ 40 TB para los datos realmente antiguos, otros 10 ~ 20 TB para datos recientes, luego adiciones anuales de aproximadamente 5 TB .
Estoy totalmente de acuerdo con la publicación de sysadmin1138 en todos los aspectos, salvo una advertencia: no creo que vaya a tener el presupuesto para lograr realmente lo que quiere.
Hay 5 funciones principales que necesita crear;
Entonces, lo que quieres hacer se puede hacer, lo he hecho varias veces durante las últimas dos décadas, pero me temo que ninguno fue barato.
Buena suerte.
fuente
Los otros han dado buenos consejos sobre cómo respaldar sus medios. Te sugiero que pases un tiempo de calidad mirando las guías de la biblioteca del congreso:
http://www.digitalpreservation.gov/formats/index.shtml
También podría considerar construir una matriz ZFS de whitebox barata. Probablemente podría hacer algo para satisfacer sus necesidades por menos de $ 10k. A medida que las unidades mueren, reemplácelas por otras más grandes, de modo que su capacidad de almacenamiento aumente a medida que genera datos. Eso probablemente lo mantendrá en funcionamiento durante bastante tiempo, y puede reemplazarlo con un dispositivo de mayor capacidad cuando envejezca. La ventaja es que sus datos están en línea (y, por lo tanto, se puede acceder a ellos según sea necesario), y están relativamente bien protegidos contra Bitrot, un problema grave cuando tiene esta cantidad de datos.
Aquí se creó una opción de compilación decente:
http://www.zfsbuild.com/
fuente
Tan difícil como es para los tecnólogos, recomendaría detener inmediatamente los pensamientos sobre discos y tecnología. Divide tu problema de negocios en cosas sobre las que tienes que tomar decisiones.
Ejemplo:
fuente
Tenga en cuenta que si almacena datos en un formato con pérdida, y luego convierte a otro formato con pérdida, y luego a otro, la calidad de su video se degradará con cada transición.
Lo siguiente está hablando de audio, pero lo mismo se aplica generalmente:
http://www.vorbis.com/faq/#transcode
Por lo tanto, probablemente sea mejor elegir un formato sin pérdida, porque una vez que elige un formato con pérdida, está atascado con él.
fuente
Tal vez hay algo que me falta, ¿no podría codificar todo usando un formato abierto donde el código fuente de los códecs está disponible, y luego simplemente pegarlo todo en Amazon S3?
De esa manera, Amazon debe preocuparse por el almacenamiento real de los datos y, a menos que no haya computadoras que puedan compilar C / C ++ en 30 años, podrá obtener la información ...
fuente