<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/"><channel><title>上云 on Tech Philosopher</title><link>https://blog.bktus.com/tags/%E4%B8%8A%E4%BA%91/</link><description>Recent content in 上云 on Tech Philosopher</description><generator>Hugo</generator><language>zh-CN</language><lastBuildDate>Mon, 10 Nov 2025 21:38:26 +0100</lastBuildDate><atom:link href="https://blog.bktus.com/tags/%E4%B8%8A%E4%BA%91/index.xml" rel="self" type="application/rss+xml"/><item><title>二零二三年四月第二周技术周报</title><link>https://blog.bktus.com/archives/0ee6o6/</link><pubDate>Mon, 10 Nov 2025 21:38:26 +0100</pubDate><guid>https://blog.bktus.com/archives/0ee6o6/</guid><description>&lt;p>这篇周报是事后补写的。这一周，主要的工作是把配置下发服务从单地的数据中心改造成多地部署，这次主要动的是数据层和缓存层。&lt;/p>
&lt;p>我负责的配置下发服务，客户端分布在广州、深圳、上海、北京等全国多个城市。客户端需要根据运营策略拉取各种动态或静态的配置，比如节日活动、功能开关、故障时的临时屏蔽等等。这些配置由服务端统一下发，客户端根据自身的属性（地域、版本等）拉取对应的内容。随着客户端的规模越来越大，问题就出来了。特别是在活动上线、客户端批量启动的时候，配置拉取的请求会在短时间内剧增，服务端的 QPS 暴涨，严重的时候甚至会拖垮主服务节点。&lt;/p></description><content:encoded><![CDATA[<p>这篇周报是事后补写的。这一周，主要的工作是把配置下发服务从单地的数据中心改造成多地部署，这次主要动的是数据层和缓存层。</p>
<p>我负责的配置下发服务，客户端分布在广州、深圳、上海、北京等全国多个城市。客户端需要根据运营策略拉取各种动态或静态的配置，比如节日活动、功能开关、故障时的临时屏蔽等等。这些配置由服务端统一下发，客户端根据自身的属性（地域、版本等）拉取对应的内容。随着客户端的规模越来越大，问题就出来了。特别是在活动上线、客户端批量启动的时候，配置拉取的请求会在短时间内剧增，服务端的 QPS 暴涨，严重的时候甚至会拖垮主服务节点。</p>
<p>其实在容器层，我已经做了全国多地的 Kubernetes Workload 部署。但是数据层，也就是数据库和 Redis，仍然集中在广州。这样一来，即便请求是从北京或者成都的容器发出的，最终还是要跨地域访问广州的数据中心，延迟高，压力也全部集中在一个地方。另外，虽然服务里有容器内的缓存，但是容器本身应该保持无状态，它的运行内存并不适合长时间、大量地持有配置缓存。一旦配置数据涨到几百兆甚至上 GB，运维和资源的成本都会急剧上升。所以，我决定从数据层和缓存层入手，做一次更彻底的多地部署改造。</p>
<p>具体来说，主数据库实例（可读可写）仍然放在广州，运营人员在这个实例上管理和写入配置。然后在上海、北京、成都等地各部署一个只读副本，主库通过异步同步把数据分发到各地的副本，各地的容器只连接本地的副本拉取配置，不再跨地域访问。Redis 也按同样的思路，每个地域部署自己的实例，服务端优先从本地的 Redis 取配置，没有命中再回源到本地的只读副本或者主库。为了让客户端能命中就近的节点，我基于 DNS 做了地域级别的接入调度。另外，在配置下发平台里给不同的 Kubernetes Workload 打上标签（地域、版本等），容器按标签识别自己的身份，拉取对应的配置。运营人员还是在部署在广州的统一平台上集中管理配置，这一点没有变。</p>
<p>这样做的好处是，读请求分散到了各地的只读副本，主库的压力小了很多；客户端拉配置的网络路径变短了，延迟也降了下来；写入仍然集中在主库，配置管理还是统一的，操作上也简单。说白了，这个方案能成立，是因为配置下发是一个典型的“写少读多”的场景：新增活动、屏蔽功能这类写入很少，绝大多数请求都是读。</p>
<p>部署下来，效果还是比较明显的。各地客户端拉取配置的延迟明显降低，主库的读请求几乎全部转移到了只读副本上。在活动上线的流量高峰期间，整个系统表现稳定，没有再出现某个集中节点被打爆的情况。</p>
<p>最后记录几点体会。首先，多地部署数据库和缓存的时候，需要评估网络延迟、数据同步延迟和一致性的要求。对于配置下发这种场景，最终一致性就够了，不需要强同步。但是副本的同步延迟还是要监控起来，以免某个地方的配置没有及时生效。另外，缓存就近部署效果更好，尽可能不要让网络延迟拖累了 Redis。容器的无状态设计还是要坚持，缓存尽量外部化，避免容器失效导致缓存丢失或者资源浪费。还有就是，Workload 的标签管理是这个方案的核心，通过标签可以比较灵活地控制不同地域、不同版本的客户端拿到什么配置；地域的入口（DNS 或者其他导流的机制）也必须能解析到就近的入口，这样客户端才会走最近的节点。最后，权限划分要明确：主库的写权限、只读副本的只读账号、运营平台的权限，要分开。</p>
]]></content:encoded></item><item><title>二零二三年一月第二周技术周报</title><link>https://blog.bktus.com/archives/14abwa/</link><pubDate>Tue, 14 Feb 2023 20:13:32 +0800</pubDate><guid>https://blog.bktus.com/archives/14abwa/</guid><description>&lt;p>这一周主要是确保在春节前各类服务的稳定。近期发现某个服务经常在流量高峰时段报超时，我提醒转交服务负责人处理。但是几天过去，服务负责人依然无法说明原因。只好亲自处理这个问题，因为报警已经十分严重，部分节点超时率能够达到 20%。&lt;/p></description><content:encoded><![CDATA[<p>这一周主要是确保在春节前各类服务的稳定。近期发现某个服务经常在流量高峰时段报超时，我提醒转交服务负责人处理。但是几天过去，服务负责人依然无法说明原因。只好亲自处理这个问题，因为报警已经十分严重，部分节点超时率能够达到 20%。</p>
<p>在这段时间中，应该是由于临近假期，流量大幅度上涨，12 月底相比已经上涨了 100%。所以首先是怀疑服务的承载力不足，所以先进行了一次扩容。但是，扩容后并未解决此问题，
告警频率和超时率基本未变化。这种情况下，对服务的源代码进行分析后发现，该服务的接口会首先调用一个下游服务，然后再异步地向数据库中插入数据。因为异步操作并不阻塞工作线程，所以首先应该怀疑是这个下游调用的问题（实际上，我在数据库那边纠结了很久）。 从终端登录进一个节点检查日志，发现所有下游调用走的居然是同一个 IP 和端口，并且走的是稻草人节点。所以我先将该服务做上云操作，排除稻草人转发损失造成的影响。上云完成后，刚切流量的时候发现某个地域（不是原先的地域）下有大量超时产生，做了扩容后也无解，十分疑惑，所以暂时切回来了。我非常奇怪，为什么上云之后，超时率却变得更高了。</p>
<p>从云上监控分析问题，发现在切流量后，下游服务的某个云上节点 CPU 占用非常高，而其他的节点却很低。开始怀疑是负载均衡的问题，所以又回去检查服务的源代码。果然，该服务从注册中心拿到下游服务可用节点列表后，只会调用列表中的第一项。所以某个地域的几乎所有流量都集中在下有服务的某一个节点上了。而原先通过稻草人转发的时候，稻草人调用云上节点的时候会做一次负载均衡。所以，最初的问题应该是流量大量上涨，该服务却没有负载均衡，所以导致某个稻草人过载，进而导致超时。稻草人是代理节点本身没有逻辑，
所以能够处理的并发数更大，超时问题不是很明显。而一旦上云，流量会直接集中在某个业务节点上，大量流量一齐涌入，会瞬间导致该业务节点大批量超时。 有了上述的论断后，
回去找稻草人的监控，发现某个稻草人确实已经过载了，CPU 占用居然达到了 95 以上。知道原因后，接下来继续上云，先最大限度消除超时告警，然后再改代码添加随机负载均衡算法。这样做是因为节前修改代码，流程上会比较麻烦。</p>
<p>所以首先，我加倍了下游服务的单个节点的核数，这大大增加处理能力。然后，做切流量的操作，一个下游节点的 CPU 占用数突然升高，最终一直保持在比其他节点高很多的比例上，这是意料之中的事情。当整个服务平稳下来后，上云就成功了，这个时候告警已经消除，超时率归零。接着，就是修改改服务的代码，添加负载均衡的机制，在各个流程审批通过后为该服务发布新的代码版本。 在我发布完新版本后，下游服务的各个节点的 CPU 占用就接近了，最终问题解决。</p>
]]></content:encoded></item><item><title>二零二二年十二月第二周技术周报</title><link>https://blog.bktus.com/archives/mauhuw/</link><pubDate>Wed, 14 Dec 2022 00:16:19 +0800</pubDate><guid>https://blog.bktus.com/archives/mauhuw/</guid><description>&lt;p>这一周的工作主要是对我负责的这一方面的工作的一个梳理，目前发现了许多的问题。这些问题主要集中在数据上云方面，目前的问题主要是如何安全上云、怎么改造目前的单地域部署方案、如何修复云下数据和云上数据之间的不一致。另外，发现还是有一些服务在使用云下的数据库，这些云下数据库按道理是要废弃的。但是，这些服务都是一些老服务，代码改动会带来一些风险，这就需要在行动前调查清楚。 调查的方面包括，现有的数据上云辅助服务的基本原理和相关的代码逻辑细节，最好能够尽早发现其中存在的问题并及时修复。&lt;/p></description><content:encoded>&lt;p>这一周的工作主要是对我负责的这一方面的工作的一个梳理，目前发现了许多的问题。这些问题主要集中在数据上云方面，目前的问题主要是如何安全上云、怎么改造目前的单地域部署方案、如何修复云下数据和云上数据之间的不一致。另外，发现还是有一些服务在使用云下的数据库，这些云下数据库按道理是要废弃的。但是，这些服务都是一些老服务，代码改动会带来一些风险，这就需要在行动前调查清楚。 调查的方面包括，现有的数据上云辅助服务的基本原理和相关的代码逻辑细节，最好能够尽早发现其中存在的问题并及时修复。&lt;/p>
&lt;p>另外一方面，是数据上云过程需要实时监控，尽量全面地对服务接口调用质量、超时率、写失败率、不一致率等等有个清晰的把握。这一方面最好能从上报监控和日志监控两方面来做。而多地部署方案，目前打算采用一主多从，主从之间单方面复制，只写主库，从库只读这几条原则入手。采用多地部署方案主要是提升服务稳定性，降低大多数请求的延迟，提升服务质量，消除跨地域的链路不稳定带来的影响。多地部署所带来的数据同步延迟不容忽视，必须有一个可以接受的延迟，这一块要从理论和监控两个方面来把握。 再就是，掌握一门脚本语言很重要。特别是当有大量重复的事情需要处理，或者需要分析一些数据来获得一个结论的时候。能够较为熟练地掌握类似 Python 这样的脚本语言，有很大的优势。但是，如果说拿 Python 来写一个大型程序的话，我觉得是不明智的。每种编程语言就像不同的刀，都可以拿来切菜，但是有些刀更适合用于切肉或切骨头。&lt;/p>
</content:encoded></item><item><title>二零二二年十二月第一周技术周报</title><link>https://blog.bktus.com/archives/qqqw9n/</link><pubDate>Fri, 09 Dec 2022 21:48:38 +0800</pubDate><guid>https://blog.bktus.com/archives/qqqw9n/</guid><description>&lt;p>这一周的工作，总结说来，主要就是将一个核心服务上云，然后不断将云下的节点切换成流量转发节点。上云的第一步就是，在云上环境部署该服务的节点：迁移配置文件、环境，然后根据稳定版本的代码编译适用于云上环境的镜像，然后让服务在云上环境跑起来。服务跑起来后并且测试完成后，云上节点目前是没有任何流量的，这个时候需要将云下的部分流量转发到云上，首先是要将云下的部分节点替换成转发节点，转发节点的作用是将主调打过来的流量转发到云上的节点。后续可以利用这部分流量来观察云上节点的工作状态，检查异常，可以称之为“流量灰度”。流量灰度一般控制在整体流量的 1%-5%作用，要看服务的关键性来调整比例，测试环境下可以适当多一些，25%-50%都可以。流量灰度是发生问题时，或者接到问题单时，只需要关闭云下的流量转发节点即可。当然，上面的一切必须先要在测试环境操作，测试妥当了再按照同样的方案谨慎操作生产环境。 有一些后台体系错综复杂，
一次调用涉及多个服务，业务逻辑扑朔迷离，这时候尽量控制变量一段时间内仅仅做出一次改动，等观察一段时间后，情况稳定下来了再做下一步操作。或者可以把大的步骤拆分成几个小的步骤，一段时间内只做一小步，观察一段时间后再继续推进下一小步。这样不容易出错。 接下来，如果灰度验证通过了（一般持续一个星期）。&lt;/p></description><content:encoded>&lt;p>这一周的工作，总结说来，主要就是将一个核心服务上云，然后不断将云下的节点切换成流量转发节点。上云的第一步就是，在云上环境部署该服务的节点：迁移配置文件、环境，然后根据稳定版本的代码编译适用于云上环境的镜像，然后让服务在云上环境跑起来。服务跑起来后并且测试完成后，云上节点目前是没有任何流量的，这个时候需要将云下的部分流量转发到云上，首先是要将云下的部分节点替换成转发节点，转发节点的作用是将主调打过来的流量转发到云上的节点。后续可以利用这部分流量来观察云上节点的工作状态，检查异常，可以称之为“流量灰度”。流量灰度一般控制在整体流量的 1%-5%作用，要看服务的关键性来调整比例，测试环境下可以适当多一些，25%-50%都可以。流量灰度是发生问题时，或者接到问题单时，只需要关闭云下的流量转发节点即可。当然，上面的一切必须先要在测试环境操作，测试妥当了再按照同样的方案谨慎操作生产环境。 有一些后台体系错综复杂，
一次调用涉及多个服务，业务逻辑扑朔迷离，这时候尽量控制变量一段时间内仅仅做出一次改动，等观察一段时间后，情况稳定下来了再做下一步操作。或者可以把大的步骤拆分成几个小的步骤，一段时间内只做一小步，观察一段时间后再继续推进下一小步。这样不容易出错。 接下来，如果灰度验证通过了（一般持续一个星期）。&lt;/p>
&lt;p>接下来就是切换路由了。切换路由就是将云上的服务节点的路由直接切换到云上节点，在这以后其他云上的主调服务将直接访问该服务的云上节点，而不会再去访问云下节点。在切换路由的时候必须特别小心，因为大量的线上流量会直接打在云上节点上。在操作之前首先，
需要根据往常数据计算云上各个地域下需要的节点数量，一般是按照高峰期流量水平来计算，如果不够要扩容，以免由于容量不够造成线上大量超时。这个时候，云上节点数宁愿多一些，因为多了后续还能够慢慢缩回来，成本不高。但是如果少了造成大量超时的话，节点扩容是需要时间的（主要是资源调度与服务启动耗时），这个时候容易造成用户投诉。如果由于超时引发客户端大量重试，就有可能带垮整个服务，引发线上事故。当时，我是挑了一个流量少的时候操作，这样能够减少由于切换抖动造成的影响。 切换了路由后，云下节点就可以逐渐全部换成转发节点，将云下的流量都转发到云上来处理。然后通知主调服务的负责人，尽量把服务上云。因为，转发节点转发到云上是有开销的，会增加延迟。&lt;/p>
</content:encoded></item></channel></rss>