字体
大
中
小
关灯
上一页 回目录    收藏 下一章

第152章 工作日常(3/3)

林泠端着餐盘找了个靠窗的位置坐下,小赵坐他对面。

鸡块烧得入味,酱油色重但不太咸,骨头上连着的那层软骨嚼起来咯吱咯吱响。

小赵夹了一块鸡块咬了一口。

吃完饭他在办公楼周围走了走。

经过花坛时看见月季已经完全从冷空气的冻伤中恢复过来了,之前边缘焦枯的花瓣已经被园艺工人修剪掉了,新长出的一批花苞正在打开。

花坛里的土刚浇过水,深褐色的湿土表面凝着一层细密的水珠,在午后的阳光下闪着微光。

下午的工作节奏比较松散。

他把自动化运维脚本的注释补完,又帮小赵看了改好的分片逻辑,确认归档清空的SqL语句没有语法问题。

三点多的时候收到运维组老周发来的消息,说上周参考他的排查思路,把数据库连接池的监控告警阈值从固定值改成了动态阈值——基于过去七天同时段连接数的百分之九十五分位来计算上限。

但上线之后发现一个奇怪的现象:每天凌晨两点到四点系统几乎没流量,连接数低得只有个位数,百分之九十五分位的阈值也跟着降到了极低,结果只要凌晨有任何一个小批处理任务启动,连接数稍微往上跳一点点就触发告警,一晚上能收到七八条误报告警。

林泠看着老周发来的监控面板截图,凌晨三点十五分,连接数从四条跳到十二条,告警触发。

阈值是九条,十二条确实超过了。

但十二条连接对于整个系统来说完全在安全范围内,这个告警没有任何运维价值。

他在对话框里打了又删,删了又打,最后把之前在白马河夜钓笔记里写的那段分析提炼成一句技术语言发过去:阈值不能只看历史百分位,得加一条斜率限制——低流量时段,连接数绝对值在安全阈值以下时,就算超过百分位也不告警,只有当连接数同时超过绝对安全值和百分位阈值才触发。

就跟你钓鱼选窗口期一样,不能只看水温绝对值,还得看水温的变化趋势是在上升还是在下降。

发完之后他又仔细看了看老周发来的截图,把凌晨时段的连接数波动曲线从头到尾拉了一遍。

低流量时段的系统行为跟正常时段完全不同——正常时段连接池的波动是高频小幅的随机噪声,凌晨时段的波动是低频大幅的孤立脉冲。

用同一套统计阈值去覆盖两种完全不同的系统状态,误报是必然的。

他在对话里继续补充:不止是加绝对值限制,最好把凌晨低流量时段单独拿出来做一套独立的阈值策略。

低流量时段的告警逻辑应该偏保守,宁可漏报少量低风险异常,也不要高频误报。

老周回了一个竖大拇指的表情,说这套逻辑跟他在运维组内部培训上讲的方法论一样,先分类再套模型。

关掉对话框之后林泠靠在椅背上转了转脖子。

然后把屏幕上的运维文档打开,在“告警阈值优化建议”那个章节里把今天讨论的内容加了进去——低流量时段独立阈值策略、绝对值限制与百分位阈值的双重判定逻辑、凌晨时段告警偏向保守策略。

写完他把文档保存好,关了电脑屏幕。

收拾东西时小赵已经收拾好了,两人一起走出办公室,走廊里保洁阿姨正在拖地,地砖上的水痕在日光灯下泛着湿润的光泽。

楼下的空气很热,风从花坛那边吹过来,带着月季花淡淡的香气和泥土被太阳晒过之后特有的暖腥味。
本章已完成!
上一页 回目录    收藏 下一章