<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/"><channel><title>Redis on Tech Philosopher</title><link>https://blog.bktus.com/tags/redis/</link><description>Recent content in Redis on Tech Philosopher</description><generator>Hugo</generator><language>zh-CN</language><lastBuildDate>Thu, 19 Nov 2026 23:11:24 +0100</lastBuildDate><atom:link href="https://blog.bktus.com/tags/redis/index.xml" rel="self" type="application/rss+xml"/><item><title>二零二三年四月第三周至五月第二周技术周报</title><link>https://blog.bktus.com/archives/p4m6jn/</link><pubDate>Thu, 19 Nov 2026 23:11:24 +0100</pubDate><guid>https://blog.bktus.com/archives/p4m6jn/</guid><description>&lt;p>上一篇技术周报，&lt;a href="https://blog.bktus.com/archives/0ee6o6/">二零二三年四月第二周技术周报&lt;/a>，是 2025 年 11 月补写的，之后就停了很久。原因其实很简单，一个是打字很麻烦，写文章的时候这里改改那里改改，改着改着句子就坏掉了，脑子里是一个句子，写出来又是另外一个句子，有些词或者介词根本就看不到了。另外一个是之前有两篇用了 AI 辅助，但是效果并不好，一看就是 AI 写的，不像是我写的，也不像是我说的话。&lt;/p></description><content:encoded><![CDATA[<p>上一篇技术周报，<a href="https://blog.bktus.com/archives/0ee6o6/">二零二三年四月第二周技术周报</a>，是 2025 年 11 月补写的，之后就停了很久。原因其实很简单，一个是打字很麻烦，写文章的时候这里改改那里改改，改着改着句子就坏掉了，脑子里是一个句子，写出来又是另外一个句子，有些词或者介词根本就看不到了。另外一个是之前有两篇用了 AI 辅助，但是效果并不好，一看就是 AI 写的，不像是我写的，也不像是我说的话。</p>
<p>这些技术周报，其实是我当时每一周真正发给领导的周报。但是我并不会把每一条都写进文章里，一个是出于保密，虽然我已经离职了，但是把详细的服务名称之类的直接说出来并不是很好。所以从第一篇开始，我都是看着当时那一周的周报，想一想哪些事情比较重要，再挑出这些事情和当时的想法，写成一篇文章。</p>
<p>现在我终于找到了一个比较好的方法：边看周报边口述，提到什么就说什么，回忆一下当时那一周自己的感觉，然后再整理成文章，具体是怎么整理的，可以看 <a href="https://blog.bktus.com/ai-policy/">AI 使用说明</a>。这样一来，周报就不再一周一篇了，而是几周合成一篇。文章虽然长一点，但是能记下来的东西反而多了很多。</p>
<p>如果你对后台开发在一线到底是什么样子感兴趣，这个系列写的就是当时每一周真实发生的事情：一个流量很大的账号系统，合规的需求怎么落地，许可证的模型怎么设计，接口怎么加固，Redis 缩容又踩了什么坑。除了当时是怎么做的，我也会说说现在回头看，我会怎么想。</p>
<h2 id="四月第三周">四月第三周</h2>
<h3 id="合规需求只做软注销">合规需求：只做软注销</h3>
<p>这一周主要是各种杂事，其中最多的是合规相关的需求。当时应该是国内刚引入相关的法律法规，要求做两件事情：一个是用户可以注销账号，另外一个是注册的时候要永久记录用户的 IP 地址。这两件事情本身都没什么复杂的，注销账号要更复杂一些，需要结合当时的数据库模式、用到的技术栈，还有账号的数据是怎么存的，分散在哪些地方，再来看怎么做注销，而且要让它对现有体系的改动比较小。</p>
<p>最后做的是一种软注销，并不是真正地把账号删掉了，而是在数据库里软删除，其他地方分散的那些数据也不会再被任何微服务引用，那么我们就认为这个账号已经注销了，死了。为什么没有直接删除呢？主要是因为很麻烦。当时公司内部的存储结构，主要是缓存后面再挂数据库，但问题其实不在数据库，而在业务逻辑。很多很老的业务逻辑，几十个微服务，这里用到了账号的 ID，那里又用到了和 ID 相关的某些字段。如果我们把数据删掉了，某个我们不知道的地方还引用着它，发现数据库里找不到了，就会报错，很可能让这个微服务不稳定，或者直接退出，影响到其他的用户。账号属于特别核心的服务，用户流量又比较大，不能中断。一旦中断超过 15 秒，下游的客户也在监控我们，马上投诉就来了。所以只能用软注销。</p>
<h3 id="记录-ip-地址一个想当然的审计服务">记录 IP 地址：一个想当然的审计服务</h3>
<p>记录 IP 地址这件事情，本来也很简单。我们维护了一个比较中心的 Elasticsearch（ES）实例，里面有从开始到现在所有注册相关的记录，只要在这里面加个字段就好了。但是在这之前，我做了一件现在看来有些想当然的事情。当时刚做微服务，我觉得账号很难做审计：一个账号什么时候注册，什么时候登录，什么时候注销，这些记录都分布在不同的微服务里。所以我提议写一个账号审计相关的微服务，平时用到账号的那些微服务，都把事件异步上报到这个审计服务，由它整理以后再写到 ES 里，而不是东写一个西写一个。</p>
<p>这个想法虽然非常理想，但是我现在感觉没有什么必要做。很多时候你做完以后，发现它很鸡肋：统一的异步上报，再做一些合并分析写到 ES，听起来很好，但实际上你很少会用到这些分析出来的东西。主要的业务都不是从这种地方挖掘数据的，它的作用主要是方便我们 debug，追查线上问题，而这并不需要这么多加工。所以按照我现在的想法，是不会去做这个事情的。但当时既然已经有了这个审计服务，记录注册 IP 的时候，我就直接放到了它上面：注册的时候在埋点里带上 IP，跟原来上报的东西一块异步上报到审计服务，再由审计服务写到 ES，绕了一圈，最后还是像原来那样写进了 ES。我不知道他们现在怎么样了，我怀疑这个审计服务大概率会被后面接手的人干掉。也有可能后面接手的人比较老成，不会去动它，以免那些不清楚的上下文带来不稳定的因素，那他就要替它背锅了。</p>
<h3 id="错误码规范化">错误码规范化</h3>
<p>还有一件事情是错误码的规范化。上个团队留下来的这些微服务，需要和下游客户在云端的账号进行绑定，通过云对云，也就是 B2B 的方式通信。这方面我们其实是有规范和文档的，但是上个团队好像并不是特别在乎，只求能够顺利地和客户对接上，对接完以后出了问题，就靠研发手动去看代码，找到问题点。当时我们团队为了节省人力，决定把这些错误码整理出来，并且规范化：什么时候会报什么错误码，是什么原因，该怎么排查，全部梳理清楚写到文档里。写完以后，就可以把文档发给前面跟客户对接的那些同学（借用一下“同学”这个说法，比较前沿一些），让他们直接跟客户说是什么原因，不要再来烦我们研发了。这些错误码当时应该是我来找的，周报里并没有提到团队中其他同学做这一步。找完以后我再和产品对齐，达成一致，写到 Wiki 里。后面正式的文档就不是我来写了，是团队里其他同学根据我写的 Wiki，整理成规范化的文档，再按照产品的流程发给客户。</p>
<h3 id="新的账号模型从按人头收费到许可证">新的账号模型：从按人头收费到许可证</h3>
<p>这一周最主要的事情，是一个新的账号模型。当时有一个新的客户，要求比较高，需要我们调整和加强原来的账号流程。原来关联账号的流程大概是这样的：客户的终端用户使用客户的产品，产品激活的时候会用到我们的服务，注册我们的账号，然后我们通过云对云的通知告诉客户，你的哪些终端用户用了我们的服务，再根据这个来收费。但是原来的对账方式，我只能说比较软性，不是非常严谨：我们这边导出一份报表，客户那边根据他们终端用户的情况，加上云对云的通知，也导出一份报表，两边再进行对账。收费模型也是按人头来收，你用了就算，并没有考虑用户是不是还在使用，是不是有许可证，许可证有多长，还有客户的合同到期以后，用户是不是还能继续通过我们的账号系统，获得我们提供的那些服务的权限。</p>
<p>所以我们需要一个更加严格的模型，把合同考虑进来，还有客户的终端用户用的是哪个产品。比如说，这个用户只能用两年，两年后他要付一笔钱，才能继续用我们的服务，这笔钱由客户向他们的终端用户收取。每当终端用户激活了产品，用到了我们的账号，我们都必须告诉客户：签发了什么许可证，签发了多久，有效时长是多少。这些统统都需要规范。这个模型由领导推动，他的想法是，既然现在这个客户的要求比较高，需要这样的模型，那我们就把它做成标准化的东西，以后跟新的客户也用这一套。</p>
<p>这个模型是在跟客户谈判的过程中逐渐清晰的。领导告诉我客户是怎么想的，我们该怎么做，有哪些约束，哪些必须要做，哪些不能做。然后我根据这些去建模，设计该怎么抽象，许可证该怎么做，合同该怎么做，写成文档，交给客户，也交给领导和领导的领导审查。大家一致同意以后，我再把它付诸实现：过一遍现有的微服务架构，看哪些地方需要调整逻辑，然后新起了一个许可证服务。这个许可证服务在现有账号的基础上负责新的模型，包括计价，许可证和合同的下发、激活与管理，还有一些测试用的许可证需要白名单管理，就是这些乱七八糟的事情。</p>
<h3 id="许可证不可变牌照决定能不能签发">许可证不可变，牌照决定能不能签发</h3>
<p>这个模型可以稍微说一下。首先，许可证是一个对象，或者说是一个领域对象（domain object）。我给它加了一个约束：许可证一旦创建，就不能再修改。如果需要修改，那么只能吊销现有的许可证，再签发一个新的。为什么要这样做呢？我当时主要考虑的是审计。一旦运营的操作，或者某个代码的 bug，在我们不知情的情况下调整了许可证，很多时候如果不仔细去调查，是没办法注意到的。而吊销和新签发许可证是另外一个粒度的事情，它们都会记录到前面说的那个 ES 里，什么时候都能查得到。所以系统里没有提供任何接口，能够修改一个许可证的时长、对象、有效期或者它的效果，只能吊销。</p>
<p>许可证上面还有一层，是客户的许可证，它和合同的时长有关系，我先称之为“牌照”（当时文档里应该不叫这个名字，具体叫什么我已经不记得了）。签发许可证的时候，我们需要先找到客户的牌照，再根据牌照是否到期，属于哪个客户的哪个产品，允许签发多长时间的许可证，来决定能签发哪些许可证。如果找不到任何牌照，就说明这个客户对于这个产品没有签任何合同，或者没有续约，那么就拒绝签发新的许可证。也就是说，牌照就是签发许可证的能力。</p>
<p>对于合同，我是这么抽象的：合同期间，我们给客户和客户的终端用户提供服务。合同过期以后，现有的终端用户如果许可证还没有到期，那么我们必须让他继续用，等到他的许可证到期了，才不让他用。合同到期只是意味着，我们不再接受新的用户，已经到期的用户也不能再激活他的服务，不能再激活我们的账号。</p>
<p>有了这两层抽象以后，发现确实可以灵活地表达客户的所有要求，还有我们自己的要求。合同快到期的时候，也方便我们去谈判。即使合同已经到期，续约也谈成了，但是由于流程的问题还没走完，我们也可以先发一个临时牌照给客户，让签发不要中断，让已经过期的用户还能继续付钱，继续用我们的服务。感觉挺好。后来这些都实现了，包括许可证快到期的时候需要提醒，由我们通知客户，再由客户去提醒他们的终端用户。这些消息的结构，有哪些字段，有哪些内容，还有牌照之类的术语，也是我设计好写在文档里的。</p>
<h3 id="上线以后">上线以后</h3>
<p>这个服务在我离职前上线，并且正式激活了。后面的事情我就不知道了，这个服务现在怎么样，有没有 bug。肯定是有 bug 的，我一直都在想这个事情：我以前写的代码，现在用 AI 一扫，肯定能扫出很多 bug。但是当时能跑，没有出问题，那就是好的。至于一些极端情况下才会出现的问题，只要问题不大，没有出现失误，那也就这样了。有 bug，这就是 human slop，是没有办法避免的，人写代码不可能像 AI 一样考虑得面面俱到。</p>
<p>另外，这一周还有各种治理相关的服务，跟进得比较多，就不一一说了。</p>
<h2 id="四月第四周">四月第四周</h2>
<h3 id="接口加固为什么不用公钥签名">接口加固：为什么不用公钥签名</h3>
<p>这一周比较重要的事情，是升级客户端访问账号服务的接口。这个不是前面说的 B2B 通信，而是我们自己的客户端访问账号的接口。原来这个接口比较弱，鉴权也比较弱，没有进行各种验证。很多时候我们担心，有假的客户端绕过我们一般的鉴权，非法使用我们的服务。我当时是账号这一块的主要负责人，比较重要的事项肯定交给我，所以由我来升级这个接口，并且让客户端都切换到新的接口上。新的接口会多做很多事情：需要签名，很多字段必须填写，并且要进行验证。签名依赖一个秘密，只有客户端知道，其他人不知道，我们再根据这个秘密进行签名和验证。</p>
<p>但是我们并没有使用公钥进行签名，用的是一种基于哈希算法的签名。主要是考虑到我们的客户端杂七杂八，跑在不同的终端产品上，有老的平台，也有新的平台，老的平台不一定支持验签之类 PKI 相关的东西，而且它很复杂。当时的想法是，越复杂的东西，如果没有特别的必要，不能带来什么收入，没有了它也不会出现很大的损失，那么就不做，做了也没用，反而会在实际的各种杂七杂八的环境里出现各种各样的问题。环境变量太多了，这个说 CPU 不行，那个又说没有这个库，这个库一调用就失败。等客户端一发版，改都改不了，直接就用不了了。终端用户不会考虑你这些什么安全不安全，一看用不了，马上投诉就来了，我们又不能直接给他们更新，这样损失就很大，对于客户，对于终端用户都不好。</p>
<h3 id="现在回头看">现在回头看</h3>
<p>回头看，我当时还是比较稚嫩的。我现在在大学里读研究生，多修了一些知识，特别是修了密码学或者网络安全相关的课程以后，如果现在再来做，有些设计我会多考虑考虑。该怎么设计这个协议，其实是有很多现成的最佳实践（best practice）的，以这个为宗旨来做就好。从 1970 年代到现在，安全协议是怎么变的，从每一次的教训中学到了什么新的、更好的模式，根据这些理论知识，我的设计可能会更好一点。</p>
<p>但其实，这并没有什么用。在实际的业务流程中，尽快上线，保证稳定，不出现用户用不了的情况，这才是最根本的。接口加固是附带的，做好了，也只是被薅羊毛的情况少了一些，体现不了太多成本的下降，除非是公司有要求，或者出现了比较大的安全漏洞。</p>
<h3 id="字段只能加不能减">字段只能加，不能减</h3>
<p>另外一个是协议相关的，要在客户端和 API 之间补上一个字段。这件事情我能说的主要是：字段只能加，不能减。你一旦把字段减了，你不知道原来的客户端逻辑在少了一个字段以后会出现什么情况。按理说大部分客户端应该要考虑到这种情况，但鬼知道它有没有考虑到，它有可能少了一个字段就直接报错，或者直接退出，都有可能。加字段也需要谨慎，需要了解清楚，需要测试，而且旧的客户端是用不了这个新字段的。所以，一切都要以终端用户使用产品的体验为准，而不是炫什么技术。主要是要考虑到各种兼容性，你的老服务、老客户端还在用，它们又更新不了，那它们应该怎么办。</p>
<p>还有就是接口滥用情况的监控，这一周让我设计方案，也是和接口加固相关的，主要是担心我们现在这个接口被灰产滥用。</p>
<h2 id="四月第五周">四月第五周</h2>
<p>这一周的事情还是原来的那些事情，主要是加了一些新的事项。周报里很多事项每周都会写上推进的百分比，比如说接口滥用的事项，上一周还在调查，这一周有了思路，基本上在做相关的开发，还有写文档。</p>
<h3 id="从单可用区到多可用区">从单可用区到多可用区</h3>
<p>另外一个是服务治理相关的。账号的业务当时部署在云上，上一周已经有相关的事项了：存储层是在单个可用区部署的，比如说在广州，或者在深圳。一旦单个可用区出现网线被挖断这种情况，就会出问题。当时真的出现过一次网线被挖断，整个可用区降级了，导致我们服务的延迟上升。延迟一上升，端上就会超时，客户的投诉会直接到我们这里。我们不能说是云服务商出了什么事情，虽然可以推一部分锅，但锅还是会到我们头上。所以单可用区的部署是有风险的，需要调整到多可用区部署，而且要仔细地调整。当时正在出方案，梳理哪些服务在哪些可用区，哪些服务是单可用区，哪些是一半单可用区一半多可用区，它们用到的数据库是什么状态，是云上的分布式数据库，还是 Redis，Redis 又是什么情况。</p>
<h2 id="五月第二周">五月第二周</h2>
<p>五月第一周是五一假期，放了一周，所以接着就是第二周。这一周主要是需求相关的开发，也就是上一周的那些事项，没有什么新的。</p>
<h3 id="redis-防重放缩容-20-的教训">Redis 防重放：缩容 20% 的教训</h3>
<p>新的是五一前后发现的问题。我们的网关服务用 Redis 进行防重放，具体的算法不便透露。由于流量巨大，这个 Redis 用的是比较大的容量。五一以后，为了降本，我把它缩减了 20%，觉得它平时都不会到 80%，应该没什么问题。不过这都是后话了，后来不知道什么时候，真的见鬼了，它又飙到了 100%。然后 Redis 要驱逐这些键，导致延迟飙升，网关发生了剧烈的波动，又发生了告警。我当时就后悔，为什么要缩减这 20%，因为你永远不知道它什么时候会达到你所认为的那条线上。</p>
<p>至于为什么要这么大的 Redis，是因为这个协议我们没法改变。很多老客户端必须用这个算法，而这个算法又很占 Redis 的空间，只能搞一个特别巨大的 Redis，确保防重放正常工作。最早的那一代服务，设计中并没有考虑到防重放，字段中也没有相应的东西，产品和客户端都已经发出去了，没法更新，也没法加这些字段，那就只能承受这个成本了。</p>
<h3 id="不是技术问题是组织问题">不是技术问题，是组织问题</h3>
<p>这也是一个矛盾点。刚开始做的时候，很难考虑到后面会有这么大的流量，这个业务能不能行，你当时也不知道，先上线了再说，先抢时间，抢节奏。后面你一看，当时真的没有考虑到这些事情。其实按道理来说，我现在想一想，还是能够逐步迁移到新的算法上的。但是这样很慢，也不好推动，涉及多个团队、多个客户端，需要比较大的能量。很多时候这不是技术问题，是组织相关的问题：你有没有那么大的能量把这个事情抛出来讨论，它是不是真的需要投入这么多人力去做。要不然，把这个 Redis 扩容一倍，可能都比拉这些人讨论、实现、测试要便宜。</p>
<h3 id="两个-java-服务的超时">两个 Java 服务的超时</h3>
<p>另外，就是以前<a href="https://blog.bktus.com/archives/kwvjou/">提到过</a>的两个 Java 服务，可能框架写得不好，总会有各种各样的超时问题。当时我还是本科生，没有读研，用了好多网上能找到的监控手段，看是 JVM 的问题，还是框架本身写得不好，但是也看不出什么来，可能是火候不到。一直到 2023 年 5 月，这两个服务还是有问题。虽然当时找到了一些端倪，也做了一些优化，做了一些线程膨胀相关的事情，但是框架很难改。它主要是用 Spring Boot 魔改的，这里魔改一下，那里魔改一下，鬼知道改了哪里，然后改的人又离职了，留下这些乱七八糟的东西，只能一个一个去分析。</p>
<p>当时我还是懵懵懂懂的。现在看我做了那么多事情，好像技术了得，但实际上理论知识还是欠缺的，对于性能分析，对于整个计算机体系结构，CPU、三级缓存、内存到底是怎么样的，包括汇编方面，根本没有实际的认识，还是一团迷雾。这团迷雾，要到我现在读研究生的时候，才慢慢散开。具体的分析，后面的周报里应该也会有一些事项体现，这里先不说了。</p>
<h2 id="最后">最后</h2>
<p>这几周就先说这么多，五月第三周的事情后面再慢慢说，想到哪说到哪，这样思路也不会断，文章也不会太长。这样口述下来，感觉比我自己打字要好多了，也能说出一些打字打不出来的东西：打字的时候就会忘掉的想法，当时的一些细节，或者是觉得麻烦不想打出来，后面就慢慢忘掉的事情。现在我的记忆力还不错，还记得住，后面就慢慢把这些周报补上，至少写到 2024 年离职的时候，这样以后就不会再忘记了，对以后的自己也是一笔宝贵的财富。</p>
]]></content:encoded></item><item><title>二零二三年三月第二周技术周报</title><link>https://blog.bktus.com/archives/88phw6/</link><pubDate>Sun, 14 Apr 2024 20:33:44 +0200</pubDate><guid>https://blog.bktus.com/archives/88phw6/</guid><description>&lt;p>本周相关的一些事项，我认为最值得讲得就是某个数据库接入层服务的给每一条数据加上键过期时间。这个数据库接入层是一个 Java 服务，本质上做的工作就是将 Redis 与数据库结合起来。对上的接口遵循某一个公司内部的特定协议，而对下则使用开源且很多人使用的
Java 包来访问 Redis 或者数据库。访问 Redis 使用的是 lettuce，而访问数据库用的就是 mybatis。原来访问 Redis 其实用的是 Jedis，后面之所以改用 lettuce，是因为它在高并发下的性能/资源表现更好一些。我认为具体地主要体现在多路复用连接，使得不需要在连接池中维护很多连接，总之就是在连接上的开销不会很大。&lt;/p></description><content:encoded><![CDATA[<p>本周相关的一些事项，我认为最值得讲得就是某个数据库接入层服务的给每一条数据加上键过期时间。这个数据库接入层是一个 Java 服务，本质上做的工作就是将 Redis 与数据库结合起来。对上的接口遵循某一个公司内部的特定协议，而对下则使用开源且很多人使用的
Java 包来访问 Redis 或者数据库。访问 Redis 使用的是 lettuce，而访问数据库用的就是 mybatis。原来访问 Redis 其实用的是 Jedis，后面之所以改用 lettuce，是因为它在高并发下的性能/资源表现更好一些。我认为具体地主要体现在多路复用连接，使得不需要在连接池中维护很多连接，总之就是在连接上的开销不会很大。</p>
<p>然后对于数据库来说，并非直接写入，而是在消息队列中写入一条插入指令并附上一些上下文。这样消息中包含了写入数据库需要的所有信息了。然后这条消息队列也是自己在消费，
消费的时候将数据写入数据库，如果成功就 ACK 消息，失败了就让这条消息 5 分钟后再回来。</p>
<p>这个服务总的读写策略就是，如果一条数据查询来了，Redis 中没有数据时就将数据库中的数据拉到 Redis。然后返回 Redis 中的数据。Redis 中有数据则直接返回。对于写入数据来说，这条数据会双写 Redis 和数据库。修改数据的时候，操作复杂得多。因为这个
Redis 中数据是使用 HSET 的方式进行存储的，然后一条修改指令可能只是修改 HSET 中的一部分字段。这个就需要对一些具体的情况进行讨论了，数据库指令也是根据具体情况来构造。</p>
<p>值得一提的事写数据库的时候，目前看前人升级了策略，不直接拿消息中的数据来写，而是消费到消息时，直接从 Redis 中读数据（这个时候 Redis 是早就被双写了的），然后直接将 Redis 中读区到的数据写入数据库。我认为这样做的好处是，让数据库中的信息尽快更新。因为从消息投递到消息队列再到消费的过程中，这一条数据可能已经修改了好几次了。</p>
<p>在这几周我发现这个服务在 Redis 中的缓存并未设置过期时间，而是依赖 Redis 实例中设置的统一过期策略来进行数据淘汰。这个策略是在 Redis 数据存满的时候才会执行的，这就会引入一个风险。根据我们云上分布式 Redis 的设计，如果 Redis 存储一直都是满的然后这个时候有大量的数据写入操作（某种特殊的业务高峰期），这样云上分布式 Redis 为了一次性腾出足够的空间会集中进行淘汰操作。这个时候无法处理任何请求，这种情况将持续几分钟。这对于业务来说，存在较大影响，因为这个时候上游业务服务将无法读或者写入数据了。而现实情况就是，这个服务的 Redis 一直处于满的状态。</p>
<p>为了降低风险，最好就是为每一条数据设置过期时间。使得 Redis 中存储的始终是较热的数据。而设置过期时间，采取的策略是取一个固定的时间 Y，然后再生成一个均匀分布的浮点随机数因子 a，从 0-1 变化。然后我们对于某一条数据的过期时间就是 Y+aY。这样设置能尽可能避免某些情况下大量数据集中过期造成的某段时间内数据库压力过大问题。</p>
<p>当时 Redis 中有 64GB 的数据，且整个 Redis 实例是满的。我评估了一下，如果只是增量进行数据更新，确保新的数据是设置了过期时间的，这样应该能让存储空间缓慢降下来。最终应该是会剩下少量的数据没有更新，占比应该不大，因为我们的业务不是存量业务，大部分用户应该会继续使用。</p>
<h2 id="2024-年-4-月">2024 年 4 月</h2>
<p>将近一年多时间观察下来，Redis 中的数据只剩下了 10GB 左右。而 Redis 实例的规格我也在半年前降下来了，成本有所削减。</p>
]]></content:encoded></item><item><title>二零二三年二月第三周技术周报</title><link>https://blog.bktus.com/archives/o6wu6l/</link><pubDate>Wed, 21 Jun 2023 19:54:06 +0800</pubDate><guid>https://blog.bktus.com/archives/o6wu6l/</guid><description>&lt;p>本周主要处理一个节前发现的风险项。某个服务，在使用 Redis 的时候并没有为键设置
TTL，而是寄希望于 redis 的淘汰策略。我看这个服务使用的 Redis 设置了 LRU 淘汰策略。这种策略看似比较完美，但是当某一较短时间段内，写入流量很大的时候，存在隐患。这个时候 Redis 会触发淘汰过程，并集中尽力于此，以求能腾出足够的空间。这意味着，Redis 不能很好地执行查询等正常操作了。这会造成业务层对 Redis 的读写延时均出现剧烈波动。到现在，我已经遇到过 2 次这样的问题了。而且不设置 TTL，Redis 一直处于 100%的使用率状态，我们从容量上并不能获知按照现在的业务量配置多少购买容量足够。业务低峰时期是否能够通过缩容降低成本也是不能确定的。所以，为 Redis 留出一个足够的可用空间是十分重要的。&lt;/p></description><content:encoded>&lt;p>本周主要处理一个节前发现的风险项。某个服务，在使用 Redis 的时候并没有为键设置
TTL，而是寄希望于 redis 的淘汰策略。我看这个服务使用的 Redis 设置了 LRU 淘汰策略。这种策略看似比较完美，但是当某一较短时间段内，写入流量很大的时候，存在隐患。这个时候 Redis 会触发淘汰过程，并集中尽力于此，以求能腾出足够的空间。这意味着，Redis 不能很好地执行查询等正常操作了。这会造成业务层对 Redis 的读写延时均出现剧烈波动。到现在，我已经遇到过 2 次这样的问题了。而且不设置 TTL，Redis 一直处于 100%的使用率状态，我们从容量上并不能获知按照现在的业务量配置多少购买容量足够。业务低峰时期是否能够通过缩容降低成本也是不能确定的。所以，为 Redis 留出一个足够的可用空间是十分重要的。&lt;/p>
&lt;p>所以，我需要改造这个服务，使之对每个写入的新键设置 TTL。按照 Redis 的逻辑，如果键在写入的时候已经存在，则也会被设置一个 TTL。为了业务稳定，我不求所有的键都设置
TTL。所以舍弃了在遍历 Redis 寻找未设置 TTL 的键的方案。其实我调研过这个方案，在遍历的时候，使用需要游标来做。设置的 TTL 长短也有讲究，为了防止同一时间大量键过期造成延时的大波动，设置 TTL 的时候在基础时长后加入了随机时长。假设基础时长为
T，那么加入随机时长后，TTL 的长度会处于 T ～ 2T 之间。这意味着，要求存留时间越长的键，过期的分布也越广。这能够确保业务延时更加平稳，防止数据库压力过大。&lt;/p>
</content:encoded></item><item><title>二零二三年二月第二周技术周报</title><link>https://blog.bktus.com/archives/q1pqco/</link><pubDate>Wed, 21 Jun 2023 19:37:29 +0800</pubDate><guid>https://blog.bktus.com/archives/q1pqco/</guid><description>&lt;p>从一月底到二月初，都属于春节的范畴。期间，负责保障春节阶段的运行，需要随时待命处理线上问题。我一直处于一种担忧的状态，好在线上问题并没有主动找上门。整个春节期间维持整体不动是最好的。 这周我在评估一个重要的需求，所带来的影响。我认为，对于一个新的业务需求，特别是应用于一个复杂的业务系统，需要考虑多方面的影响。如果这个时候，对这个系统并不是特别熟悉，经验不多的话，最好选择做最小改动。这不是保守，而是将影响控制在你可以想象地到的地方。因为你不会知道在什么地方，某个违背直觉的机制在运行重要的业务逻辑。得出这样的结论，并不是出于我的想象。&lt;/p></description><content:encoded>&lt;p>从一月底到二月初，都属于春节的范畴。期间，负责保障春节阶段的运行，需要随时待命处理线上问题。我一直处于一种担忧的状态，好在线上问题并没有主动找上门。整个春节期间维持整体不动是最好的。 这周我在评估一个重要的需求，所带来的影响。我认为，对于一个新的业务需求，特别是应用于一个复杂的业务系统，需要考虑多方面的影响。如果这个时候，对这个系统并不是特别熟悉，经验不多的话，最好选择做最小改动。这不是保守，而是将影响控制在你可以想象地到的地方。因为你不会知道在什么地方，某个违背直觉的机制在运行重要的业务逻辑。得出这样的结论，并不是出于我的想象。&lt;/p>
&lt;p>这篇文章写于半年后，到我写这篇文章的时候，我已经遇到至少两次这样的事情了。当时我对某个服务做出了大刀阔斧的调整，在调整完的时候，一切正常。发布后，也看似正常。直到若干星期之后，我偶然发现了某个串联上下游的机制，它差点受到我的影响。在承接一个业务系统的时候，很大概率它是转接和很多手的，藏有很多你不知道的历史，所以框架、核心逻辑能不动就不动。 然后，本周彻底解决了针对一个安全加密服务加密接口不兼容中文的问题。主要的问题是，它将加密的原文直接作为 Redis 的 Key。当原文中存在中文，会发现虽然 Key 存储了，但是找不到。我的方案是在存储的时候，Key 的内容不要直接包含任何业务原文，先取哈希。这样既能够避免一些编码、兼容的问题，也可以大大提升安全性。&lt;/p>
</content:encoded></item></channel></rss>