大数据挑战
两年半之后,日均调用 200 万次,日志表累计 10 亿条、数据库 500GB。查询越来越慢,存储开始告急,备份时间长到难以接受——一张表已经装不下所有历史数据。
这一章分三步应对。第一步解决”扛不住”:用分库分表、归档和 Elasticsearch 检索,把慢查询和备份难这两件事分开处理。第二步回应产品经理的新需求——实时监控调用量、统计用户增长趋势、分析 API 使用情况、生成报表,而 MySQL 的聚合查询已经慢到无法接受,于是引入实时统计系统、数据分析 API 和数据聚合任务。第三步是冷热分离:30 天内的热数据留在主库,30 到 180 天的温数据放从库,180 天前的冷数据归档到对象存储,存储成本随时间下降,查询范围也随之收窄。
读完你应该能判断千万级日志该往哪里放,能说清预聚合和冷热分层各自解决了哪个问题,并能为统计口径、查询延迟和存储成本这三者做取舍。
发现内容有问题?
告诉我们哪里需要改进。
