二零二三年四月第二周技术周报

这篇周报是事后补写的。这一周,主要的工作是把配置下发服务从单地的数据中心改造成多地部署,这次主要动的是数据层和缓存层。 我负责的配置下发服务,客户端分布在广州、深圳、上海、北京等全国多个城市。客户端需要根据运营策略拉取各种动态或静态的配置,比如节日活动、功能开关、故障时的临时屏蔽等等。这些配置由服务端统一下发,客户端根据自身的属性(地域、版本等)拉取对应的内容。随着客户端的规模越来越大,问题就出来了。特别是在活动上线、客户端批量启动的时候,配置拉取的请求会在短时间内剧增,服务端的 QPS 暴涨,严重的时候甚至会拖垮主服务节点。 ...

2025年11月10日 · Saturneric

二零二三年一月第二周技术周报

这一周主要是确保在春节前各类服务的稳定。近期发现某个服务经常在流量高峰时段报超时,我提醒转交服务负责人处理。但是几天过去,服务负责人依然无法说明原因。只好亲自处理这个问题,因为报警已经十分严重,部分节点超时率能够达到 20%。 ...

2023年2月14日 · Saturneric

二零二二年十二月第二周技术周报

这一周的工作主要是对我负责的这一方面的工作的一个梳理,目前发现了许多的问题。这些问题主要集中在数据上云方面,目前的问题主要是如何安全上云、怎么改造目前的单地域部署方案、如何修复云下数据和云上数据之间的不一致。另外,发现还是有一些服务在使用云下的数据库,这些云下数据库按道理是要废弃的。但是,这些服务都是一些老服务,代码改动会带来一些风险,这就需要在行动前调查清楚。 调查的方面包括,现有的数据上云辅助服务的基本原理和相关的代码逻辑细节,最好能够尽早发现其中存在的问题并及时修复。 ...

2022年12月14日 · Saturneric

二零二二年十二月第一周技术周报

这一周的工作,总结说来,主要就是将一个核心服务上云,然后不断将云下的节点切换成流量转发节点。上云的第一步就是,在云上环境部署该服务的节点:迁移配置文件、环境,然后根据稳定版本的代码编译适用于云上环境的镜像,然后让服务在云上环境跑起来。服务跑起来后并且测试完成后,云上节点目前是没有任何流量的,这个时候需要将云下的部分流量转发到云上,首先是要将云下的部分节点替换成转发节点,转发节点的作用是将主调打过来的流量转发到云上的节点。后续可以利用这部分流量来观察云上节点的工作状态,检查异常,可以称之为“流量灰度”。流量灰度一般控制在整体流量的 1%-5%作用,要看服务的关键性来调整比例,测试环境下可以适当多一些,25%-50%都可以。流量灰度是发生问题时,或者接到问题单时,只需要关闭云下的流量转发节点即可。当然,上面的一切必须先要在测试环境操作,测试妥当了再按照同样的方案谨慎操作生产环境。 有一些后台体系错综复杂, 一次调用涉及多个服务,业务逻辑扑朔迷离,这时候尽量控制变量一段时间内仅仅做出一次改动,等观察一段时间后,情况稳定下来了再做下一步操作。或者可以把大的步骤拆分成几个小的步骤,一段时间内只做一小步,观察一段时间后再继续推进下一小步。这样不容易出错。 接下来,如果灰度验证通过了(一般持续一个星期)。 ...

2022年12月9日 · Saturneric