简介
2023年双十一刚刚落幕，阿里云故障导致阿里系App全线“崩”上热搜，涉及到阿里云盘、淘宝、咸鱼、钉钉、语雀等等产品。
问题原因
故障概况
- 时间线： 故障始于11月12日傍晚，历时3个半小时。
- 影响范围： 多个地域、全球多可用区、数百个产品及服务受影响。
- 故障原因： 与某底层服务组件（可能为鉴权服务）有关。
故障处理过程
- 监测与确认： 17:44分监控异常，工程师介入调查。
- 定位问题： 17:50分确认底层服务组件故障，紧急处理。
- 逐步恢复： 18:54分开始逐步恢复，各地域控制台陆续恢复。
- 异常管控： 19:43分完成异常管控服务组件重启，除个别云产品外，大部分服务已恢复。
- 数据延迟： 21:11分宣布故障恢复，但影响部分云产品数据可能存在延迟推送。
受影响范围
- 产品线： 计算、容器、存储、网络与CDN、安全、中间件、数据库、大数据计算、人工智能与机器学习、媒体服务、企业服务与云通信、物联网、开发工具、迁移与运维管理等。
- 地域： 包括多个国家和地区。
故障原因分析
- 底层服务组件故障： 与某底层服务组件（可能为鉴权服务）相关。
- 鉴权服务重要性： 鉴权服务是云计算基础要求之一，负责权限控制和资源隔离。
本次经验教训
- 依赖性问题： 本次事件突显了对云服务的全球性依赖，其故障对用户、企业和公共服务造成了不同程度的影响。
- 多云备份： 行业应认识到多云备份的紧迫性，以减轻对单一云服务的依赖。
- 故障响应与通告： 阿里云在故障发生后迅速响应，提供了详细的时间线和处理过程。其他云服务提供商可借鉴此类故障处理方式，加强透明度和沟通。
- 底层服务稳定性： 对于云服务提供商而言，底层服务的稳定性至关重要。阿里云需对底层服务组件进行深入审查，以防止未来类似事件的发生。
结论
此次事件突显了全球云服务的脆弱性，强调了对于底层服务组件的重要性。行业需要在保障服务可靠性的同时，加强多云备份措施，以降低单一云服务故障对用户和企业的影响。此类事件也提醒云服务提供商不断优化底层基础设施，以确保稳定性和可靠性。
原创文章，作者：AIRF，如若转载，请注明出处：http://www.ai-rf.com/index.php/2023/11/15/%e9%98%bf%e9%87%8c%e4%ba%91%e6%97%b6%e9%9a%94%e4%b8%80%e5%b9%b4%e5%86%8d%e7%8e%b0%e5%a4%a7%e8%a7%84%e6%a8%a1%e6%95%85%e9%9a%9c%ef%bc%8c%e4%ba%91%e5%8e%82%e5%95%86%e5%ae%95%e6%9c%ba%e4%ba%8b%e6%95%85/
