log · 2022-07-23 0

Availability issue @ 7/23/2022

2022-7-23 bancho服务故障摘要

发生时间2022/7/23
受到影响的服务bancho
osu.ppy.sb网站

以下时间为服务器所在时区的当地时间(GMT+8:00)

时间事件详细
7:00 PM第一位用户反馈无法成功登录游戏,网站无响应
8:00 PM复数用户反应无法登录游戏
8:23 PM成功定位到问题所在,尝试修复数据库未定义相关索引导致占用高CPU时间,影响到需要数据库的服务:bancho服务, 网站服务
8:31 PM成功修复问题,服务不需要重新启动
8:42 PM确认问题修复

问题原因:bancho.py的数据库表默认没有索引,数据库使用久了,数据条数积累多起来,又一直有查询请求,使得mysql的cpu占用达到100%,进而导致bancho,网站等服务失去响应。

维护:通过对scores、map表的几个关键字段建立索引,降低相应查询的成本,提高服务速度。