Sigue a ZDNET: Agréganos como fuente preferida en Google.

Takeaways de llave de ZDNET

• Los costos de almacenamiento en la nube explotaron después de que los planes ilimitados desaparecieran
• Hacer una copia de seguridad de todo era caro e innecesario
• Cinco cambios estratégicos ahorraron más de $ 1,200 por año

60 terabytes. Nunca volveré a ver tanto almacenamiento en la nube. Por un lado, estoy aliviado. Por otro lado, estoy profundamente triste.

Esta es una historia que comenzó hace muchos capítulos. Culminó con un examen serio de auto e infraestructura, un par de conversaciones duras y algunas decisiones difíciles.

Esta es una historia de acaparamiento de datos en línea en la apariencia de las mejores prácticas, donde se convirtió demasiado forma Demasiado, y la tarea aparentemente simple de mantener copias de seguridad se convirtió en un segundo trabajo de respuesta de emergencia de guardia.

Cambié todo eso esta semana.

Tl; Dr

Hay mucho en esta historia, pero si quieres un resumen rápido, es este: me mudé de Google Workspace Enterprise a Backblaze B2. Dejé caer la máquina del tiempo y agregué Backblaze personal para máquinas individuales. Mi red de servidores RAID se ayudan entre sí, y para cuando terminé, ahorré más de mil dólares.

Pero tuve que renunciar mucho para hacerlo. Lo que sigue es la historia de fondo necesaria, una descripción de la arquitectura de red de antes y después, desgloses de costos y una inmersión en profundidad sobre cómo y por qué tomé las decisiones que me llevaron a este nuevo enfoque.

Cavemos.

El antes del tiempo

Desde lo que parece para una eternidad, pero probablemente se remonta a principios de la década de 2000, he sido un gran defensor y practicante de la estrategia de respaldo 3-2-1 de la mejor práctica de la industria tecnológica. La idea es tener tres copias de cada archivo, dos de los cuales se encuentran en diferentes dispositivos físicos, y una de las cuales se encuentra fuera del sitio.

Antes de que mis padres fallecieran, el fuera del sitio era fácil. Simplemente trasladaría un par de discos duros de ida y vuelta a su lugar cada vez que fuimos a visitarnos. A su vez, me pusieron a trabajar eliminando el grueso paquete duro de los virus informáticos que mi padre había recogido entre las visitas. No fue completamente su culpa. Era joyero, y en ese entonces los sitios de joyería estaban infestados de malware.

En cualquier caso, mis necesidades de almacenamiento eran considerables, pero no demasiado enormes. Cuando la mayoría de las personas tenían acceso telefónico, mis servidores web autohospedados vivían en un armario de lino convertido. Esos servidores antiguos usaban ancho de banda dedicado proporcionado por la única conexión a Internet T-1 de alta velocidad (que corría por mi baño) entre Rutgers y Princeton. En ese momento, mis necesidades de almacenamiento se sumaron a menos de un terabyte.

Sí, eso fue mucho para los primeros días. Pero no eran 60 terabytes.

Con el tiempo, mi trabajo me trasladó a tres áreas intensas de volumen de datos: máquinas virtuales en red, modelado 3D y video. Mis necesidades de almacenamiento local se globan y han crecido cada vez más durante la última década.

Más allá de los terabytes de las máquinas virtuales en red utilizadas para lo que ahora llamaríamos desarrollo de agentes de IA, tengo todos los elementos de video involucrados en la producción de YouTube de alta calidad. Un solo video de YouTube puede acercarse a un terabyte durante la producción. Mi sistema de vigilancia de múltiples cámaras en la casa también come almacenamiento.

En este momento, estoy operando cuatro servidores locales de archivos en el hogar, con un almacenamiento total de 139.04 terabytes.

Eso es mucho más que los 60 que tengo en la nube, pero hay una gran parte de la parte «2» de las copias de seguridad 3-2-1 en esos servidores.

Hace poco más de diez años, el almacenamiento en la nube no solo se volvió práctico sino también barato. Puede comprar planes de todo lo que pueda en la tienda de una variedad de proveedores de respaldo en línea. Y eso es lo que hice. Pero para 2017, la fiesta interminable del almacenamiento en línea llegó a su fin.

Como proveedor tras proveedor cerró sus ofertas ilimitadas, me encontré pasando semanas trasladando mis datos al próximo jugador que aún ofrece almacenamiento ilimitado. Estaba atrapado en un extraño juego de almacén de datos Whac-A-Mole.

Hasta que golpeé una pared. Llegó un momento en que esas ofertas ya no estaban disponibles, excepto una oferta de Google.

En 2018, la suite G de Google (el nombre anterior para el espacio de trabajo de Google) ofreció un plan de almacenamiento ilimitado. Si compró cinco o más asientos en un plan de negocios de $ 12/mes, $ 60 al mes le daría un almacenamiento ilimitado.

Entonces, eso es lo que hice.

Luego, en 2020, Google cambió el nombre de G Suite al espacio de trabajo y apretó sus ofertas de almacenamiento. Podría «solicitar» almacenamiento ilimitado, pero recibir su solicitud otorgada fue otro asunto.

Durante los siguientes cinco años, mi relación con Google Storage fue rocosa, cada vez más exigente y cada vez más cara. Puedes leer algunas de mis piezas sobre este desafío en curso aquí:

Para 2022, mi compañía de dos personas se suscribió a un Plan Enterprise de Google Workspace, que proporcionó acceso al almacenamiento que necesitaba. Se necesitó mucha solicitud para que Google me permita tener ese almacenamiento.

Eso se convirtió en una negociación anual extendida con los guardianes de la capacidad de almacenamiento de Google. Cada año más o menos, recibía un aviso de Google que me estaba acercando a mi capacidad. Cada año más o menos, participaba en semanas de boletos de soporte de ida y vuelta «solicitando» más capacidad, citando resmas de transcripciones de soporte anteriores. Cada año más o menos, Google aceptó a regañadientes un aumento de la capacidad pequeña, junto con un aumento en cuánto tuve que pagar cada mes.

Hace unas semanas, recibí otro aviso de advertencia de este tipo. En lugar de sumergirme una vez más en negociaciones diplomáticas con los señores de los datos, decidí repensar mi vida. O, al menos, el aspecto de almacenamiento de los mismos.

Arquitectura de almacenamiento previo a la migración

Mis costos de correo electrónico y almacenamiento se han vinculado desde que comencé a usar Google Workspace. Mi cuenta de correo electrónico principal es una cuenta de consumo Gmail, configurada para enviar y recibir usando mis dominios corporativos. Los relés de dominio de correo electrónico corporativo están alojados en el espacio de trabajo.

El siguiente gráfico muestra mi arquitectura de almacenamiento previo a la migración. Nuestros dispositivos de almacenamiento principales son las diversas computadoras que mi esposa y yo usamos, nuestro servidor de archivos (que contiene todos nuestros documentos principales, así como todas mis copias de seguridad de video) y un servidor de seguridad (que contiene videos históricos de nuestras cámaras de seguridad).

Los Mac se respaldaron a un servidor de copia de seguridad local utilizando la máquina de tiempo. Para el registro, no me gusta la máquina de tiempo. Siempre es una apuesta si puedes restaurar cualquier cosa de una copia de seguridad de una máquina del tiempo, y fallan regularmente. Time Machine es una copia de seguridad incremental. Eso significa que se agregan cambios al archivo de copia de seguridad, y usted (teóricamente) puede regresar a un día o semana anterior.

Las Mac también se sincronizan con nuestro servidor de copia de seguridad interno (un cuadro diferente del servidor de archivos) utilizando Cronosyncuna herramienta de sincronización MAC muy confiable con soporte técnico bastante excelente. Estas copias de seguridad son sincronizaciones, por lo que cualquier cosa que cambie en la máquina fuente (incluidas las deleciones) se refleja en el servidor.

Nuestro gran servidor de archivos tenía cuatro mecanismos de copia de seguridad. Retrocedió incrementalmente al espacio de trabajo de Google. También se sincronizó con Google Workspace, por lo que Google Workspace tenía dos arquitecturas de respaldo completas con almacenamiento.

El servidor de archivos también se sincroniza con el servidor de copia de seguridad. Una vez por semana, nuestro servidor de copia de seguridad fuera de línea se enciende y el servidor de archivos se sincroniza con él. Esto proporciona una copia de seguridad con el aire en caso de que ocurriera lo peor. Ese servidor de archivos fuera de línea también es prácticamente a prueba de fuego e inundaciones, por lo que debería poder manejar casi cualquier cosa.

Tenga en cuenta que todos nuestros servidores implementan RAID, por lo que si alguna unidad falla, los datos no se perderán. También mantengo unidades de repuesto en stock, por lo que si hay una falla, puedo reemplazar la unidad de inmediato y comenzar a reconstruir la redada.

Así es como nuestra estrategia 3-2-1 se veía antes de la nueva arquitectura que acabo de implementar.

Costos previos a la migración

Como con todo lo demás en este mundo, el costo del almacenamiento en la nube ha aumentado regularmente. Además del costo de almacenamiento de Google Workspace de $ 162.50 por mes, pagamos dos dólares adicionales cada uno para extender el almacenamiento de nuestras cuentas personales de Gmail. También pagamos alrededor de $ 30 cada mes para extender nuestro almacenamiento de iCloud a 6TB.

Decisiones difíciles

Como muestra el cuadro a continuación, nuestro almacenamiento de documentos de misión crítica ocupa solo una astilla del almacenamiento general de archivos en nuestro gran servidor de archivos.

Los videos en la producción de video son todos videos que se han subido a YouTube. Sí, las imágenes sin procesar se almacenan en el servidor. Saco de ese metraje de vez en cuando. Si perdiera esa imagen cruda, sería un fastidio, pero no catastrófico.

Lo mismo es cierto para los medios. Esa porción contiene toda nuestra colección de DVD importada, junto con archivos de música y otros medios, incluido mi archivo del trabajo de gráficos de producción para todos mis artículos de ZDNET. Es una carpeta importante, pero como fue el caso de la producción de video, la mayor parte es de archivo.

Como mi esposa y yo nos suscribimos a una tonelada de servicios de video de transmisión, casi nunca aprovechamos esa biblioteca de medios para obtener contenido de video. No hemos hecho por años.

En cuanto a las máquinas virtuales, mantengo algunas máquinas virtuales en vivo en mi estudio M4 Mac súper cargado. Las máquinas virtuales almacenadas en el servidor son de proyectos más antiguos y se usaron en simulaciones masivas, proyectos que no estoy haciendo en este momento. Todas esas máquinas virtuales también utilizan versiones muy desaprobadas de sistemas operativos de tiempos pasados. Si algo les sucediera, sería desafortunado, pero no afectaría en absoluto la productividad diaria.

Todos esos archivos se almacenan en un servidor RAID y se realizan a un segundo servidor RAID local. Es muy poco probable que tengamos una falla catastrófica en las unidades en ambos servidores al mismo tiempo.

Entonces, el verdadero problema es lo que sucedería si hubiera algún tipo de desastre. Si algo le sucediera a la casa y ambos servidores se perdieran, entonces perderíamos esos archivos. Pero si tuviéramos una catástrofe, VMS y archivos de producción de video serían la menor de mis preocupaciones.

Decisión difícil #1: Deja de hacer una copia de seguridad de los medios mayores

Así que mi primera decisión difícil fue dejar de respaldar las tres grandes rodajas a la nube. Recuerde que no solo estaba respaldando todo eso incrementalmente, sino que también lo estaba sincronizando todo. El uso de almacenamiento de datos en la nube se disparó utilizando ese enfoque.

Decisión difícil #2: Renuncia a todo lo que Google Workspace Storage

Mi segunda decisión difícil fue alejarse del espacio de trabajo de Google para el almacenamiento en la nube. Renunciar a todo ese dulce y dulce almacenamiento me trajo una tristeza, pero los debates constantes con el soporte de Google habían maximizado mi medidor de tolerancia.

Decisión difícil #3: Deje de usar la máquina del tiempo

Mi tercera decisión difícil fue dejar de usar Time Machine. Esa es la recomendación canónica de Apple para la copia de seguridad. Apesta. Como ya estoy sincronizando mis Macs locales a iCloud y a nuestro servidor de respaldo con Chronosync, sentí que podría cerrar la máquina del tiempo. Luego decidí mudarme a Backblaze Personal para la Mac principal de mi esposa y la mía.

Backblaze personal cobra diez dólares al mes o cien dólares al año por copias de seguridad ilimitadas de una máquina. Puede tener unidades USB montadas localmente y las respaldarán también, pero no respaldará unidades de red.

Decisión difícil #4: Use Backblaze B2 para el almacenamiento en la nube del servidor

Mi cuarta decisión difícil fue ir con Backblaze B2 Para hacer una copia de seguridad de los documentos de mi servidor de archivos. Backblaze B2 cobra seis dólares por terabyte por mes, por lo que ciertamente no obtendría el mismo acuerdo de almacenamiento que obtenía del espacio de trabajo de Google. Pero si mantuve mis necesidades B2 de menos de 4TB (que es el caso de los documentos en el servidor de archivos), tendría una solución comprobable bastante sólida.

Hasta ahora, como un nuevo cliente, Backblaze merece puntos. Me encontré con un enganche autoinfligido durante mi migración y la gente de soporte de fondo intervino y me sacó de problemas. Lindo.

Decisión difícil #5: No más copias de seguridad incrementales para la nube

Mi quinta decisión difícil fue renunciar a las copias de seguridad incrementales para el servidor de archivos en la nube. Esto mantendría mis costos de B2 considerablemente los costos de B2. Una característica ordenada de Backblaze B2 es que conserva archivos durante varios días. Así que configuré la retención de archivos a 10 días. Eso significa que si elimino un archivo que necesito, y la eliminación se sincroniza con la nube, tengo diez días para recuperarlo.

Presupuesto y arquitectura posterior a la migración

Entonces, aquí es donde ahora estamos. Esta es la arquitectura de trabajo para la nueva normalidad. Como puede ver, mucho sigue siendo el mismo. Pero las copias de seguridad del servidor de archivos en la nube se reducen sustancialmente, y la máquina de tiempo ya no está en la imagen.

Así es como la nueva estrategia de copia de seguridad 3-2-1 funciona con este nuevo enfoque.

Todavía mantengo el espacio de trabajo de Google para el retransmisión de correo electrónico corporativo, pero ese es un $ 14/mes bastante económico para nuestras dos cuentas.

Y así es como todo se obtiene en cuanto a dólar.

Como puede ver, pasé de $ 196/mes ($ 2,357 por año) a $ 90/mes ($ 1080 por año). Ese ahorro anual de $ 1,200 es bastante dulce. Pero fue un camino bastante desafiante para llegar aquí. Con suerte, en un año, no tendré otra pelea de almacenamiento para crónica. Espero que este nuevo enfoque proporcione unos años de vela suave.

¿Ha tenido que tomar decisiones difíciles sobre su estrategia de almacenamiento en la nube? ¿Qué servicios está utilizando para administrar grandes cantidades de datos? ¿Has encontrado una configuración que equilibra el costo, el acceso y la redundancia? ¿Ha considerado abandonar la máquina del tiempo o alejarse del espacio de trabajo de Google? ¿Cómo se maneja las copias de seguridad para medios, máquinas virtuales o imágenes de seguridad? Háganos saber en los comentarios a continuación.

Puede seguir mis actualizaciones de proyecto diarias en las redes sociales. Asegúrese de suscribirse a Mi boletín de actualización semanaly sígueme en Twitter/X en @Davidgewirtzen Facebook en Facebook.com/davidgewirtzen Instagram en Instagram.com/davidgewirtzen bluesky en @Davidgewirtz.comy en youtube en Youtube.com/davidgewirtztv.