上一篇技术周报,二零二三年四月第二周技术周报,是 2025 年 11 月补写的,之后就停了很久。原因其实很简单,一个是打字很麻烦,写文章的时候这里改改那里改改,改着改着句子就坏掉了,脑子里是一个句子,写出来又是另外一个句子,有些词或者介词根本就看不到了。另外一个是之前有两篇用了 AI 辅助,但是效果并不好,一看就是 AI 写的,不像是我写的,也不像是我说的话。

这些技术周报,其实是我当时每一周真正发给领导的周报。但是我并不会把每一条都写进文章里,一个是出于保密,虽然我已经离职了,但是把详细的服务名称之类的直接说出来并不是很好。所以从第一篇开始,我都是看着当时那一周的周报,想一想哪些事情比较重要,再挑出这些事情和当时的想法,写成一篇文章。

现在我终于找到了一个比较好的方法:边看周报边口述,提到什么就说什么,回忆一下当时那一周自己的感觉,然后再整理成文章,具体是怎么整理的,可以看 AI 使用说明。这样一来,周报就不再一周一篇了,而是几周合成一篇。文章虽然长一点,但是能记下来的东西反而多了很多。

如果你对后台开发在一线到底是什么样子感兴趣,这个系列写的就是当时每一周真实发生的事情:一个流量很大的账号系统,合规的需求怎么落地,许可证的模型怎么设计,接口怎么加固,Redis 缩容又踩了什么坑。除了当时是怎么做的,我也会说说现在回头看,我会怎么想。

四月第三周

合规需求:只做软注销

这一周主要是各种杂事,其中最多的是合规相关的需求。当时应该是国内刚引入相关的法律法规,要求做两件事情:一个是用户可以注销账号,另外一个是注册的时候要永久记录用户的 IP 地址。这两件事情本身都没什么复杂的,注销账号要更复杂一些,需要结合当时的数据库模式、用到的技术栈,还有账号的数据是怎么存的,分散在哪些地方,再来看怎么做注销,而且要让它对现有体系的改动比较小。

最后做的是一种软注销,并不是真正地把账号删掉了,而是在数据库里软删除,其他地方分散的那些数据也不会再被任何微服务引用,那么我们就认为这个账号已经注销了,死了。为什么没有直接删除呢?主要是因为很麻烦。当时公司内部的存储结构,主要是缓存后面再挂数据库,但问题其实不在数据库,而在业务逻辑。很多很老的业务逻辑,几十个微服务,这里用到了账号的 ID,那里又用到了和 ID 相关的某些字段。如果我们把数据删掉了,某个我们不知道的地方还引用着它,发现数据库里找不到了,就会报错,很可能让这个微服务不稳定,或者直接退出,影响到其他的用户。账号属于特别核心的服务,用户流量又比较大,不能中断。一旦中断超过 15 秒,下游的客户也在监控我们,马上投诉就来了。所以只能用软注销。

记录 IP 地址:一个想当然的审计服务

记录 IP 地址这件事情,本来也很简单。我们维护了一个比较中心的 Elasticsearch(ES)实例,里面有从开始到现在所有注册相关的记录,只要在这里面加个字段就好了。但是在这之前,我做了一件现在看来有些想当然的事情。当时刚做微服务,我觉得账号很难做审计:一个账号什么时候注册,什么时候登录,什么时候注销,这些记录都分布在不同的微服务里。所以我提议写一个账号审计相关的微服务,平时用到账号的那些微服务,都把事件异步上报到这个审计服务,由它整理以后再写到 ES 里,而不是东写一个西写一个。

这个想法虽然非常理想,但是我现在感觉没有什么必要做。很多时候你做完以后,发现它很鸡肋:统一的异步上报,再做一些合并分析写到 ES,听起来很好,但实际上你很少会用到这些分析出来的东西。主要的业务都不是从这种地方挖掘数据的,它的作用主要是方便我们 debug,追查线上问题,而这并不需要这么多加工。所以按照我现在的想法,是不会去做这个事情的。但当时既然已经有了这个审计服务,记录注册 IP 的时候,我就直接放到了它上面:注册的时候在埋点里带上 IP,跟原来上报的东西一块异步上报到审计服务,再由审计服务写到 ES,绕了一圈,最后还是像原来那样写进了 ES。我不知道他们现在怎么样了,我怀疑这个审计服务大概率会被后面接手的人干掉。也有可能后面接手的人比较老成,不会去动它,以免那些不清楚的上下文带来不稳定的因素,那他就要替它背锅了。

错误码规范化

还有一件事情是错误码的规范化。上个团队留下来的这些微服务,需要和下游客户在云端的账号进行绑定,通过云对云,也就是 B2B 的方式通信。这方面我们其实是有规范和文档的,但是上个团队好像并不是特别在乎,只求能够顺利地和客户对接上,对接完以后出了问题,就靠研发手动去看代码,找到问题点。当时我们团队为了节省人力,决定把这些错误码整理出来,并且规范化:什么时候会报什么错误码,是什么原因,该怎么排查,全部梳理清楚写到文档里。写完以后,就可以把文档发给前面跟客户对接的那些同学(借用一下“同学”这个说法,比较前沿一些),让他们直接跟客户说是什么原因,不要再来烦我们研发了。这些错误码当时应该是我来找的,周报里并没有提到团队中其他同学做这一步。找完以后我再和产品对齐,达成一致,写到 Wiki 里。后面正式的文档就不是我来写了,是团队里其他同学根据我写的 Wiki,整理成规范化的文档,再按照产品的流程发给客户。

新的账号模型:从按人头收费到许可证

这一周最主要的事情,是一个新的账号模型。当时有一个新的客户,要求比较高,需要我们调整和加强原来的账号流程。原来关联账号的流程大概是这样的:客户的终端用户使用客户的产品,产品激活的时候会用到我们的服务,注册我们的账号,然后我们通过云对云的通知告诉客户,你的哪些终端用户用了我们的服务,再根据这个来收费。但是原来的对账方式,我只能说比较软性,不是非常严谨:我们这边导出一份报表,客户那边根据他们终端用户的情况,加上云对云的通知,也导出一份报表,两边再进行对账。收费模型也是按人头来收,你用了就算,并没有考虑用户是不是还在使用,是不是有许可证,许可证有多长,还有客户的合同到期以后,用户是不是还能继续通过我们的账号系统,获得我们提供的那些服务的权限。

所以我们需要一个更加严格的模型,把合同考虑进来,还有客户的终端用户用的是哪个产品。比如说,这个用户只能用两年,两年后他要付一笔钱,才能继续用我们的服务,这笔钱由客户向他们的终端用户收取。每当终端用户激活了产品,用到了我们的账号,我们都必须告诉客户:签发了什么许可证,签发了多久,有效时长是多少。这些统统都需要规范。这个模型由领导推动,他的想法是,既然现在这个客户的要求比较高,需要这样的模型,那我们就把它做成标准化的东西,以后跟新的客户也用这一套。

这个模型是在跟客户谈判的过程中逐渐清晰的。领导告诉我客户是怎么想的,我们该怎么做,有哪些约束,哪些必须要做,哪些不能做。然后我根据这些去建模,设计该怎么抽象,许可证该怎么做,合同该怎么做,写成文档,交给客户,也交给领导和领导的领导审查。大家一致同意以后,我再把它付诸实现:过一遍现有的微服务架构,看哪些地方需要调整逻辑,然后新起了一个许可证服务。这个许可证服务在现有账号的基础上负责新的模型,包括计价,许可证和合同的下发、激活与管理,还有一些测试用的许可证需要白名单管理,就是这些乱七八糟的事情。

许可证不可变,牌照决定能不能签发

这个模型可以稍微说一下。首先,许可证是一个对象,或者说是一个领域对象(domain object)。我给它加了一个约束:许可证一旦创建,就不能再修改。如果需要修改,那么只能吊销现有的许可证,再签发一个新的。为什么要这样做呢?我当时主要考虑的是审计。一旦运营的操作,或者某个代码的 bug,在我们不知情的情况下调整了许可证,很多时候如果不仔细去调查,是没办法注意到的。而吊销和新签发许可证是另外一个粒度的事情,它们都会记录到前面说的那个 ES 里,什么时候都能查得到。所以系统里没有提供任何接口,能够修改一个许可证的时长、对象、有效期或者它的效果,只能吊销。

许可证上面还有一层,是客户的许可证,它和合同的时长有关系,我先称之为“牌照”(当时文档里应该不叫这个名字,具体叫什么我已经不记得了)。签发许可证的时候,我们需要先找到客户的牌照,再根据牌照是否到期,属于哪个客户的哪个产品,允许签发多长时间的许可证,来决定能签发哪些许可证。如果找不到任何牌照,就说明这个客户对于这个产品没有签任何合同,或者没有续约,那么就拒绝签发新的许可证。也就是说,牌照就是签发许可证的能力。

对于合同,我是这么抽象的:合同期间,我们给客户和客户的终端用户提供服务。合同过期以后,现有的终端用户如果许可证还没有到期,那么我们必须让他继续用,等到他的许可证到期了,才不让他用。合同到期只是意味着,我们不再接受新的用户,已经到期的用户也不能再激活他的服务,不能再激活我们的账号。

有了这两层抽象以后,发现确实可以灵活地表达客户的所有要求,还有我们自己的要求。合同快到期的时候,也方便我们去谈判。即使合同已经到期,续约也谈成了,但是由于流程的问题还没走完,我们也可以先发一个临时牌照给客户,让签发不要中断,让已经过期的用户还能继续付钱,继续用我们的服务。感觉挺好。后来这些都实现了,包括许可证快到期的时候需要提醒,由我们通知客户,再由客户去提醒他们的终端用户。这些消息的结构,有哪些字段,有哪些内容,还有牌照之类的术语,也是我设计好写在文档里的。

上线以后

这个服务在我离职前上线,并且正式激活了。后面的事情我就不知道了,这个服务现在怎么样,有没有 bug。肯定是有 bug 的,我一直都在想这个事情:我以前写的代码,现在用 AI 一扫,肯定能扫出很多 bug。但是当时能跑,没有出问题,那就是好的。至于一些极端情况下才会出现的问题,只要问题不大,没有出现失误,那也就这样了。有 bug,这就是 human slop,是没有办法避免的,人写代码不可能像 AI 一样考虑得面面俱到。

另外,这一周还有各种治理相关的服务,跟进得比较多,就不一一说了。

四月第四周

接口加固:为什么不用公钥签名

这一周比较重要的事情,是升级客户端访问账号服务的接口。这个不是前面说的 B2B 通信,而是我们自己的客户端访问账号的接口。原来这个接口比较弱,鉴权也比较弱,没有进行各种验证。很多时候我们担心,有假的客户端绕过我们一般的鉴权,非法使用我们的服务。我当时是账号这一块的主要负责人,比较重要的事项肯定交给我,所以由我来升级这个接口,并且让客户端都切换到新的接口上。新的接口会多做很多事情:需要签名,很多字段必须填写,并且要进行验证。签名依赖一个秘密,只有客户端知道,其他人不知道,我们再根据这个秘密进行签名和验证。

但是我们并没有使用公钥进行签名,用的是一种基于哈希算法的签名。主要是考虑到我们的客户端杂七杂八,跑在不同的终端产品上,有老的平台,也有新的平台,老的平台不一定支持验签之类 PKI 相关的东西,而且它很复杂。当时的想法是,越复杂的东西,如果没有特别的必要,不能带来什么收入,没有了它也不会出现很大的损失,那么就不做,做了也没用,反而会在实际的各种杂七杂八的环境里出现各种各样的问题。环境变量太多了,这个说 CPU 不行,那个又说没有这个库,这个库一调用就失败。等客户端一发版,改都改不了,直接就用不了了。终端用户不会考虑你这些什么安全不安全,一看用不了,马上投诉就来了,我们又不能直接给他们更新,这样损失就很大,对于客户,对于终端用户都不好。

现在回头看

回头看,我当时还是比较稚嫩的。我现在在大学里读研究生,多修了一些知识,特别是修了密码学或者网络安全相关的课程以后,如果现在再来做,有些设计我会多考虑考虑。该怎么设计这个协议,其实是有很多现成的最佳实践(best practice)的,以这个为宗旨来做就好。从 1970 年代到现在,安全协议是怎么变的,从每一次的教训中学到了什么新的、更好的模式,根据这些理论知识,我的设计可能会更好一点。

但其实,这并没有什么用。在实际的业务流程中,尽快上线,保证稳定,不出现用户用不了的情况,这才是最根本的。接口加固是附带的,做好了,也只是被薅羊毛的情况少了一些,体现不了太多成本的下降,除非是公司有要求,或者出现了比较大的安全漏洞。

字段只能加,不能减

另外一个是协议相关的,要在客户端和 API 之间补上一个字段。这件事情我能说的主要是:字段只能加,不能减。你一旦把字段减了,你不知道原来的客户端逻辑在少了一个字段以后会出现什么情况。按理说大部分客户端应该要考虑到这种情况,但鬼知道它有没有考虑到,它有可能少了一个字段就直接报错,或者直接退出,都有可能。加字段也需要谨慎,需要了解清楚,需要测试,而且旧的客户端是用不了这个新字段的。所以,一切都要以终端用户使用产品的体验为准,而不是炫什么技术。主要是要考虑到各种兼容性,你的老服务、老客户端还在用,它们又更新不了,那它们应该怎么办。

还有就是接口滥用情况的监控,这一周让我设计方案,也是和接口加固相关的,主要是担心我们现在这个接口被灰产滥用。

四月第五周

这一周的事情还是原来的那些事情,主要是加了一些新的事项。周报里很多事项每周都会写上推进的百分比,比如说接口滥用的事项,上一周还在调查,这一周有了思路,基本上在做相关的开发,还有写文档。

从单可用区到多可用区

另外一个是服务治理相关的。账号的业务当时部署在云上,上一周已经有相关的事项了:存储层是在单个可用区部署的,比如说在广州,或者在深圳。一旦单个可用区出现网线被挖断这种情况,就会出问题。当时真的出现过一次网线被挖断,整个可用区降级了,导致我们服务的延迟上升。延迟一上升,端上就会超时,客户的投诉会直接到我们这里。我们不能说是云服务商出了什么事情,虽然可以推一部分锅,但锅还是会到我们头上。所以单可用区的部署是有风险的,需要调整到多可用区部署,而且要仔细地调整。当时正在出方案,梳理哪些服务在哪些可用区,哪些服务是单可用区,哪些是一半单可用区一半多可用区,它们用到的数据库是什么状态,是云上的分布式数据库,还是 Redis,Redis 又是什么情况。

五月第二周

五月第一周是五一假期,放了一周,所以接着就是第二周。这一周主要是需求相关的开发,也就是上一周的那些事项,没有什么新的。

Redis 防重放:缩容 20% 的教训

新的是五一前后发现的问题。我们的网关服务用 Redis 进行防重放,具体的算法不便透露。由于流量巨大,这个 Redis 用的是比较大的容量。五一以后,为了降本,我把它缩减了 20%,觉得它平时都不会到 80%,应该没什么问题。不过这都是后话了,后来不知道什么时候,真的见鬼了,它又飙到了 100%。然后 Redis 要驱逐这些键,导致延迟飙升,网关发生了剧烈的波动,又发生了告警。我当时就后悔,为什么要缩减这 20%,因为你永远不知道它什么时候会达到你所认为的那条线上。

至于为什么要这么大的 Redis,是因为这个协议我们没法改变。很多老客户端必须用这个算法,而这个算法又很占 Redis 的空间,只能搞一个特别巨大的 Redis,确保防重放正常工作。最早的那一代服务,设计中并没有考虑到防重放,字段中也没有相应的东西,产品和客户端都已经发出去了,没法更新,也没法加这些字段,那就只能承受这个成本了。

不是技术问题,是组织问题

这也是一个矛盾点。刚开始做的时候,很难考虑到后面会有这么大的流量,这个业务能不能行,你当时也不知道,先上线了再说,先抢时间,抢节奏。后面你一看,当时真的没有考虑到这些事情。其实按道理来说,我现在想一想,还是能够逐步迁移到新的算法上的。但是这样很慢,也不好推动,涉及多个团队、多个客户端,需要比较大的能量。很多时候这不是技术问题,是组织相关的问题:你有没有那么大的能量把这个事情抛出来讨论,它是不是真的需要投入这么多人力去做。要不然,把这个 Redis 扩容一倍,可能都比拉这些人讨论、实现、测试要便宜。

两个 Java 服务的超时

另外,就是以前提到过的两个 Java 服务,可能框架写得不好,总会有各种各样的超时问题。当时我还是本科生,没有读研,用了好多网上能找到的监控手段,看是 JVM 的问题,还是框架本身写得不好,但是也看不出什么来,可能是火候不到。一直到 2023 年 5 月,这两个服务还是有问题。虽然当时找到了一些端倪,也做了一些优化,做了一些线程膨胀相关的事情,但是框架很难改。它主要是用 Spring Boot 魔改的,这里魔改一下,那里魔改一下,鬼知道改了哪里,然后改的人又离职了,留下这些乱七八糟的东西,只能一个一个去分析。

当时我还是懵懵懂懂的。现在看我做了那么多事情,好像技术了得,但实际上理论知识还是欠缺的,对于性能分析,对于整个计算机体系结构,CPU、三级缓存、内存到底是怎么样的,包括汇编方面,根本没有实际的认识,还是一团迷雾。这团迷雾,要到我现在读研究生的时候,才慢慢散开。具体的分析,后面的周报里应该也会有一些事项体现,这里先不说了。

最后

这几周就先说这么多,五月第三周的事情后面再慢慢说,想到哪说到哪,这样思路也不会断,文章也不会太长。这样口述下来,感觉比我自己打字要好多了,也能说出一些打字打不出来的东西:打字的时候就会忘掉的想法,当时的一些细节,或者是觉得麻烦不想打出来,后面就慢慢忘掉的事情。现在我的记忆力还不错,还记得住,后面就慢慢把这些周报补上,至少写到 2024 年离职的时候,这样以后就不会再忘记了,对以后的自己也是一笔宝贵的财富。