Anuncios: Reporte por Falla en NY 25 Octubre

Reporte Final del fallo de red del DC en Nueva York el dia 25 de Octubre.

En PremiumHosting, utilizamos varios Datacenter (5 en total), todos de excelente conectividad y fiabilidad, para diversificar nuestros Servidores y clientes.

1. INICIO:
El día Miercoles 25 de Octubre 2023, recibimos la alerta del Monitor de Uptime, sobre nuestros 6 Servidores en Nueva York, a las 04:23 AM (Hora Chile), que habian perdido la conexión a internet.
Desde las 07:30 AM (hora Chile) comenzamos a agregar actualizaciones e información al monitor de Uptime https://status.premiumhosting.cl con la primera información oficial, donde se esperaba que todo estuviese solucionado cerca de las 11:00 AM (Hora Chile).

2. MOTIVO:
El problema principal, se debió a que fuera del Datacenter, en una zona externa, había una construcción de PSEG en Nueva YORK, donde cortaron por accidente la fibra optica que iba al Datacenter NY1 en Nueva York, donde tenemos 6 servidores. En el lugar se constituyó un equipo de trabajo de la empresa Zayo, empresa encargada y dueña de la Fibra en buena parte de Nueva York. Indicaron que estimaban que todo estuviese solucionado a las 11:00 AM.

3. DESARROLLO:
Entre las 07:30 AM y las 11:00 AM, nos encargamos de responder casi 300 tickets, 100 chats y decenas de correos, de nuestros clientes afectados. Cercanos a las 11:00 AM, hora en la que el corte fue solucionado, notamos que varios proveedores de internet ya tenían acceso a los Servidores, pero al mismo tiempo otros no. Inicialmente notamos que GTD y Entel tenían conexión a los Servidores, algo intermitente a ratos. VTR, Movistar y Claro sin conexión.

Cerca de las 12:40 PM, El Datacenter comenzó a trabajar en una solución alternativa, debido a que Zayo aun habiendo reparado la falla, seguía este problema de conexion desde algunos proveedores de internet.

A las 15:30 PM (Hora Chile) oficialmente la solución alternativa fue implementada con éxito, y todos los proveedores de Internet en Chile (y el mundo) ya tenían acceso a los Servidores.

4. FINAL:
Posterior a las 15:30 y hasta cerca de las 23:30 PM, nos dedicamos exclusivamente en responder los tickets, chats y correos remanentes.
Hoy, 26 de Octubre, hasta las 15:00 PM, nos hemos encargado de solicitudes de clientes, consultas al respecto y evaluar opciones.


5. Medida PremiumHosting:
Actualizaremos 2 Servidores en otro DC, a una versión mucho más potente y grande, para poder migrar clientes que asi lo deseen aqui. Sin costo, podrán ser migrados a un Servidor de última generación, que estará fuera de la red de Nueva York, que este año ha tenido 2 fallas (una en Enero y ahora en Octubre). Esto significaría un cambio de DNS.
Disponible para migrar desde el Lunes 30 de Octubre.
.
6. Medida Datacenter:
Se ha agregado una nueva ruta física, con una nueva fibra al Datacenter, que nos asegura que en un caso como este (que no deberia nunca pasar en realidad..), se podrá en cosa de 2-3 minutos, cambiar la ruta y nunca más pasar esta cantidad de horas ante una emergencia así.


7.Opciones para clientes:
El Uptime del Datacenter en Nueva York es bastante bueno, el año 2022 tuvo un excelente Uptime, y este año ha tenido 2 incidentes graves, uno en Enero y uno ahora en Octubre. Entendemos perfectamente que el Uptime es prioridad número 1, y en discusiones con el Datacenter, se han tomado medidas para que esto no pueda volver a suceder.

Por ello, creemos bastante seguro y recomendable permanecer en el Datacenter. Igualmente para todo cliente que así lo desee, podemos migrarlo a otro Datacenter desde el Lunes 30 de Octubre.
Asi también, nos pueden contactar directamente si están interesados en servicios Cloud, para poder asesorarlos.

Agradecemos la comprensión en este grave incidente, que ha sido el más grande que hemos tenido en muchos años.
PremiumHosting.cl