<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/"><channel><title>故障排查 on Tech Philosopher</title><link>https://blog.bktus.com/tags/%E6%95%85%E9%9A%9C%E6%8E%92%E6%9F%A5/</link><description>Recent content in 故障排查 on Tech Philosopher</description><generator>Hugo</generator><language>zh-CN</language><lastBuildDate>Mon, 15 Apr 2024 21:47:09 +0200</lastBuildDate><atom:link href="https://blog.bktus.com/tags/%E6%95%85%E9%9A%9C%E6%8E%92%E6%9F%A5/index.xml" rel="self" type="application/rss+xml"/><item><title>二零二三年三月第三周技术周报</title><link>https://blog.bktus.com/archives/ge5n6u/</link><pubDate>Mon, 15 Apr 2024 21:47:09 +0200</pubDate><guid>https://blog.bktus.com/archives/ge5n6u/</guid><description>&lt;p>本周值得注意的事项就是，测试人员那边反馈在测试环境下，某些账号突然无法正常使用的问题。目前整个账号的体系还是在沿用老的系统。而在当前老系统中，账号信息使用某种特殊的数据存储分成多个模块存储，每个模块相当于一张表。每张表都各有侧重，有些侧重于与其他账号之间的关联关系，有些侧重于查询等等。这些账号无法使用的问题在于，其中最重要的一张表也就是主表，这个用户的记录消失了。在其他表中该用户的相关记录还是存在的。&lt;/p></description><content:encoded><![CDATA[<p>本周值得注意的事项就是，测试人员那边反馈在测试环境下，某些账号突然无法正常使用的问题。目前整个账号的体系还是在沿用老的系统。而在当前老系统中，账号信息使用某种特殊的数据存储分成多个模块存储，每个模块相当于一张表。每张表都各有侧重，有些侧重于与其他账号之间的关联关系，有些侧重于查询等等。这些账号无法使用的问题在于，其中最重要的一张表也就是主表，这个用户的记录消失了。在其他表中该用户的相关记录还是存在的。</p>
<p>这就引发了我的各种猜想，是否是测试人员测试的过程中的环境弄混了？或者是某个服务的配置有问题导致了部分应该写在测试环境的数据写到了生产环境去了？说代码写得有问题导致了某些极端情况下，用户的主表信息写入失败？通过调查发现，最终要的查询表中，数据结构还是完整的，而且能够反推出用户注册时候的微信账号。查询表只有在账号创建的时候才会去写，后续基本不会再修改了。而主表中的数据应该是和查询表在用户注册的时候一块写入。</p>
<p>对于这个问题，后续推断应该是数据模块发生了某种问题导致数据丢失。而在我咨询数据模块相关维护人员的时候，我还没说清楚问题，他们就说是测试环境并不保证服务的可用性，
可能发生任何问题。那么这个问题可能就无解了，因为如果是数据模块这层问题，我作为使用方基本没有任何能力来自己解决。除非我能替换掉这个数据模块，使用更加稳定可靠的解决方案。那对于这个问题，我只能够然同事手动清理查询表中的索引关系，然后在让用户重新进入应用。当用户重新进入应用的时候，由于没有索引就相当于没有这个用户，此时就会重新创建用户。后续几个月遇到了十几例相同的问题，没有办法，让同事添加了一段自动处理这个问题的业务代码，以免去每次手动处理的麻烦。</p>
<p>这个问题第一次出现将近一年后，由于某个重要客户反馈了这个问题。而又正好这个重要客户当时半个月之内反馈的我们的各种问题有点多，领导对此十分困扰，所以对于我这个问题他特别重视。领导后续找到我让我推动解决这件事，我同意执行，因为我也想知道问题具体是什么。现在能够确定的是，问题出现在数据存储层，而这一层又不是我们直接控制，我们只是使用这样一个产品。这个产品已经很老了，维护人员很少了，而且还有其他事情。他们不愿意来主动寻找问题，也是情有可原的。所以想要推动他们的维护人员来解决，就只能抓住具体且直接的证据来证明他们的问题在哪里。</p>
<p>我以当时的了解，知道数据层分为缓存和落盘数据库，而且经过一年在各种问题的解决过程中学习，我也能很熟练调取分析落盘数据库里的数据了。我调取了落盘数据库中的用户 ID
的倒序情况，发现从某个用户 ID 开始，后面就没有了。最近一年，用户报问题的用户 ID
以及新注册的用户 ID 是远远大于这个 ID 的。我又去日志中获取了一个最新注册的用户
ID，查询数据层，发现是有的。说明缓存中是有正常数据的，但是由于某种原因数据并没有落到数据库中，而是在缓存满后直接消失了。</p>
<p>这已经能够说明问题了。于是我将这些调查记录截图发给数据层产品的维护人员，并提了一个工单，推动他们来解决这个问题。该问题的脉络我已经提前分析地很清楚明了了，而且又有直接的证据，他们也开始认真对待这个问题。后面确实，他们重启某个模块后，这个问题就好了。而且最终他们承认问题与缓存层落库的机制有关系。</p>
]]></content:encoded></item><item><title>二零二三年二月第四周技术周报</title><link>https://blog.bktus.com/archives/rr0u6h/</link><pubDate>Wed, 15 Nov 2023 20:25:05 +0800</pubDate><guid>https://blog.bktus.com/archives/rr0u6h/</guid><description>&lt;p>本周我发现有些服务框架写得并不是很好，特别是某些 Java 框架。当 CPU 占用达到 40%
左右的时候，就会出现大量的超时现象。这些服务，CPU 核心和内存容量不是不多，工作线程数目也不是不够。但是，就是跑不满 CPU。用 Java 性能工具分析发现，其实发现大部分工作线程处于 Idel 或者 Waiting 状态。目前综合所有情况分析，还是百思不得其解。NIO
也用上了，还用的是 Netty 框架，但是吞吐量就是上不去。通过对于线程的分析，发现并没有特别繁忙的业务线程。推断应该是 IO 或者某种等待机制导致了这种低处理效率。 这次我是准备通过削减节点数量来降本，在执行前并没有考虑特别多的因素。所以我在削减节点容量的时候，只是通过查看 CPU 的负载来判断节点是否能够承受。当我将北京地域的
workload 平均 CPU 占用率提升到 35%-40%的时候，整个服务出现了大量的超时现象。当时把我吓了一跳。后面从监控上分析，几乎是整个背景地域的节点都超时了，也就是处于一种”休克“状态。&lt;/p></description><content:encoded>&lt;p>本周我发现有些服务框架写得并不是很好，特别是某些 Java 框架。当 CPU 占用达到 40%
左右的时候，就会出现大量的超时现象。这些服务，CPU 核心和内存容量不是不多，工作线程数目也不是不够。但是，就是跑不满 CPU。用 Java 性能工具分析发现，其实发现大部分工作线程处于 Idel 或者 Waiting 状态。目前综合所有情况分析，还是百思不得其解。NIO
也用上了，还用的是 Netty 框架，但是吞吐量就是上不去。通过对于线程的分析，发现并没有特别繁忙的业务线程。推断应该是 IO 或者某种等待机制导致了这种低处理效率。 这次我是准备通过削减节点数量来降本，在执行前并没有考虑特别多的因素。所以我在削减节点容量的时候，只是通过查看 CPU 的负载来判断节点是否能够承受。当我将北京地域的
workload 平均 CPU 占用率提升到 35%-40%的时候，整个服务出现了大量的超时现象。当时把我吓了一跳。后面从监控上分析，几乎是整个背景地域的节点都超时了，也就是处于一种”休克“状态。&lt;/p>
&lt;p>本周也继续重构某一个老的 PHP 网关服务，新的网关用 Java 写成。但是我其实不是很赞成网关用 Java，毕竟 Java 这种语言的执行特性很大程度上决定了它不适合特别高的并发。并且，我们目前所用的都是 JDK 8，并没有引入轻量级的线程，每个 4c8g 容器内线程最多也就 800 个，多了线程切换开销就会特别大。所以单个容器的吞吐量有限，承载同样的流量需要更多的容器。刚开始我是用 Go 重写的，这个框架很不错而且也有专门的团队维护，但是 leader 还是让我用部门自研的那个 Java 框架。可能人事上的考虑居多吧，无奈，我还是先写吧。&lt;/p>
</content:encoded></item><item><title>二零二三年一月第二周技术周报</title><link>https://blog.bktus.com/archives/14abwa/</link><pubDate>Tue, 14 Feb 2023 20:13:32 +0800</pubDate><guid>https://blog.bktus.com/archives/14abwa/</guid><description>&lt;p>这一周主要是确保在春节前各类服务的稳定。近期发现某个服务经常在流量高峰时段报超时，我提醒转交服务负责人处理。但是几天过去，服务负责人依然无法说明原因。只好亲自处理这个问题，因为报警已经十分严重，部分节点超时率能够达到 20%。&lt;/p></description><content:encoded><![CDATA[<p>这一周主要是确保在春节前各类服务的稳定。近期发现某个服务经常在流量高峰时段报超时，我提醒转交服务负责人处理。但是几天过去，服务负责人依然无法说明原因。只好亲自处理这个问题，因为报警已经十分严重，部分节点超时率能够达到 20%。</p>
<p>在这段时间中，应该是由于临近假期，流量大幅度上涨，12 月底相比已经上涨了 100%。所以首先是怀疑服务的承载力不足，所以先进行了一次扩容。但是，扩容后并未解决此问题，
告警频率和超时率基本未变化。这种情况下，对服务的源代码进行分析后发现，该服务的接口会首先调用一个下游服务，然后再异步地向数据库中插入数据。因为异步操作并不阻塞工作线程，所以首先应该怀疑是这个下游调用的问题（实际上，我在数据库那边纠结了很久）。 从终端登录进一个节点检查日志，发现所有下游调用走的居然是同一个 IP 和端口，并且走的是稻草人节点。所以我先将该服务做上云操作，排除稻草人转发损失造成的影响。上云完成后，刚切流量的时候发现某个地域（不是原先的地域）下有大量超时产生，做了扩容后也无解，十分疑惑，所以暂时切回来了。我非常奇怪，为什么上云之后，超时率却变得更高了。</p>
<p>从云上监控分析问题，发现在切流量后，下游服务的某个云上节点 CPU 占用非常高，而其他的节点却很低。开始怀疑是负载均衡的问题，所以又回去检查服务的源代码。果然，该服务从注册中心拿到下游服务可用节点列表后，只会调用列表中的第一项。所以某个地域的几乎所有流量都集中在下有服务的某一个节点上了。而原先通过稻草人转发的时候，稻草人调用云上节点的时候会做一次负载均衡。所以，最初的问题应该是流量大量上涨，该服务却没有负载均衡，所以导致某个稻草人过载，进而导致超时。稻草人是代理节点本身没有逻辑，
所以能够处理的并发数更大，超时问题不是很明显。而一旦上云，流量会直接集中在某个业务节点上，大量流量一齐涌入，会瞬间导致该业务节点大批量超时。 有了上述的论断后，
回去找稻草人的监控，发现某个稻草人确实已经过载了，CPU 占用居然达到了 95 以上。知道原因后，接下来继续上云，先最大限度消除超时告警，然后再改代码添加随机负载均衡算法。这样做是因为节前修改代码，流程上会比较麻烦。</p>
<p>所以首先，我加倍了下游服务的单个节点的核数，这大大增加处理能力。然后，做切流量的操作，一个下游节点的 CPU 占用数突然升高，最终一直保持在比其他节点高很多的比例上，这是意料之中的事情。当整个服务平稳下来后，上云就成功了，这个时候告警已经消除，超时率归零。接着，就是修改改服务的代码，添加负载均衡的机制，在各个流程审批通过后为该服务发布新的代码版本。 在我发布完新版本后，下游服务的各个节点的 CPU 占用就接近了，最终问题解决。</p>
]]></content:encoded></item><item><title>二零二二年十二月第四周技术回顾</title><link>https://blog.bktus.com/archives/4sm6qv/</link><pubDate>Thu, 19 Jan 2023 19:31:54 +0800</pubDate><guid>https://blog.bktus.com/archives/4sm6qv/</guid><description>&lt;p>本周我感染了新冠病毒，一共在家待了 9 天。在此期间，工作上的最主要的事情是评估一款小程序的推广上线，对我所负责的基础服务体系的影响。这款小程序切中了当时国人的需求，预计有大量流量涌入，可能对基础服务体系的核心服务造成冲击。原先，他们有也一个功能将要上线，流量也很大，我已经评估过并且扩容了。但是，这次还是在他们推送了上亿的量级的通知后，发生了大批量的超时现象。 早上八点钟，躺在床上修养的我就被叫起来，说是登录接口出现大量超时现象。&lt;/p></description><content:encoded><![CDATA[<p>本周我感染了新冠病毒，一共在家待了 9 天。在此期间，工作上的最主要的事情是评估一款小程序的推广上线，对我所负责的基础服务体系的影响。这款小程序切中了当时国人的需求，预计有大量流量涌入，可能对基础服务体系的核心服务造成冲击。原先，他们有也一个功能将要上线，流量也很大，我已经评估过并且扩容了。但是，这次还是在他们推送了上亿的量级的通知后，发生了大批量的超时现象。 早上八点钟，躺在床上修养的我就被叫起来，说是登录接口出现大量超时现象。</p>
<p>我马上拿出笔记本，连上内网一看，这个接口流量直接翻了 20 多倍。我都捏了一把汗，首先是怀疑业务容器数量不足，无法承接这么大的流量。然后通过筛选日志，发现并不是这个问题。问题分为两个部分，其一是内部某个接口有限流，当前流量已经超出限流；另一个是缓存数据库挂接的数据库打满。 内部接口限流比较好解决，通过紧急呼叫找到了对应的同事调高了限流的阈值。另一个缓存数据库，由于大量老用户涌入导致不断要从数据库中读取老数据到缓存中，而且频率随着流量的增长不断提升，最终打满了缓存后面挂接的数据库的
I/O。后续针对几个核心的缓存数据库，再次做了一批扩容，提升了缓存容量和节点数量以应对后续更大的流量和并发。</p>
<p>在日常维护上面，主要是将某个网关服务 Pod 的 k8s 调度策略做了调整，将其调度到由
CVM 虚拟化直接支持（一层调度）的计算节点上。原先，这个服务调度的到的计算节点是我们公司采购的物理服务器上虚拟出来的 CVM，用作计算节点。调度到这上面以后，再于这个
CVM 上虚拟出一个执行空间（参考 Docker 技术），然后将 Pod 调度到这个节点开始运行
（二层调度）。一个计算节点上，可能存在几个甚至十几个 Pod。这些后台程序都运行于同一台操作系统中，并且只是执行空间不同罢了。这就导致了 CPU、内存、网卡等资源的隔离性不强，常常会互相干扰。并且当这台 CVM 计算节点需要重启或者升级的时候，其上的所有 Pod 都会被驱逐。</p>
<p>计算节点操作系统中的风吹草动，会影响到其上所有 Pod。这对于这种网关这种可靠性和延迟要求苛刻的服务，来说并不合适。 而一层调度计算节点，其实是由云来分配计算资源并虚拟出 CVM 来单独执行这个程序，CVM 资源是从整个云资源池中取得。并且这种方式支持
k8s，因为这种新的调度方式会虚拟成 k8s 上的一种“超级节点”。k8s 可以直接将 Pod 调度到超级节点上，Pod 可以直接基于一层调度运行，也就是直接运行在一个单独 CVM 上。这种方式隔离性强，互相之间不会受到影响。由于每个 CVM 只运行一个节点，所以当单独一个 Pod 出现问题时，可以针对这个 Pod 的问题进行修复，而不会影响到其他 Pod。 通过修改调度策略，将服务的所有 Pod 调度到超级节点后，整个服务运行更加稳定了。在高峰期超时率和 CPU 占用率双高的情况也很少再出现。</p>
]]></content:encoded></item><item><title>二零二二年十二月第三周技术回顾</title><link>https://blog.bktus.com/archives/kwvjou/</link><pubDate>Thu, 19 Jan 2023 17:40:11 +0800</pubDate><guid>https://blog.bktus.com/archives/kwvjou/</guid><description>&lt;p>这一周，主要的工作是针对某个 Java 服务进行优化。该服务一直存在 CPU 占用率无法提升上来的问题。首先考虑的问题是，该服务是否存在工作线程不足的问题。后面发现，并非
CPU 占用无法提升，而是 CPU 占用提升后会导致较多的超时问题。该服务很久以前就有反馈性能不足，不建议继续使用。&lt;/p></description><content:encoded><![CDATA[<p>这一周，主要的工作是针对某个 Java 服务进行优化。该服务一直存在 CPU 占用率无法提升上来的问题。首先考虑的问题是，该服务是否存在工作线程不足的问题。后面发现，并非
CPU 占用无法提升，而是 CPU 占用提升后会导致较多的超时问题。该服务很久以前就有反馈性能不足，不建议继续使用。</p>
<p>所以我感觉，这个问题来自于框架，而非业务代码。 经过对框架代码进行阅读和梳理，该框架使用 netty 作为 NIO 服务器框架，并且会在执行业务逻辑的时候分发业务处理任务到工作线程。然后工作线程来处理业务逻辑。之前框架有个问题就是，工作线程数太少，难以应对高 IO 的情况。而现在的情况下，推断并非上次一样的问题，从日志来看工作线程数是足够的。会不会是客户端的问题。在整个微服务架构下，该服务会作为客户端去调用其他服务的接口。 这可能是一个切入点。通过阅读代码，发现该服务框架通过实现 Java 的
InvocationHandler 接口来生成代理类 ObjectProxy，该 ObjectProxy 接管对其他服务的
RPC 调用。业务代码中，通过 RPC 的方式发起对其他服务接口的调用时，ObjectProxy 会通过它关联的 ProtocolInvoker 来获取目标服务对应有效节点列表（这个有效节点列表每隔 30s 刷新一次）。</p>
<p>而后，通过将列表传入负载均衡器 LoadBalancer 获得本次调用的目标节点。然后，就通过具体协议对应的 Invoker 类向目标节点发起调用。Invoker 负责管理与目标服务之间的长连接，在调用的时候会选取一个连接来发送请求并接收响应。具体的请求方式与此次调用类型是异步还是同步有关。 客户端需要调用的每个目标服务由多个节点组成。对于每个节点，该框架都会默认创建两个 I/O 线程负责网络 I/O 传输（NIO 模式）。另外，该框架会为每个节点分别默认创建和处理器个数相当的 TCP 连接。每个 I/O 线程包含有一个
Selector 对连接的相关的事件进行轮询监听。而在每个 TCP 连接上会建立一个
TCPSession，每当需要发送一次请求时，会建立一个 Ticket 来跟踪这次请求及其关联响应。对于同步请求来说，发送请求后会被阻塞，直到响应到来为止。</p>
<p>对异步请求来说，会在 Ticket 中填入 callback 函数，当响应到来时，会通过
TicketNumber（Ticket 的唯一索引）找到对应的 Ticket 并调用其中事先填入的 callback
函数，进行后续的处理。 该框架对 NIO 的操作，在底层用到了 Java 提供的 NIO 库的能力。上面所提到的 TCP 链接，其实就是 NIO 库中的 SocketChannel。那么该框架如何分割各个数据包呢，该框架通过 Buffer 来存储目前已经读到的数据，而我们常用的 RPC 协议，会将该包的字节数存在包的首部，只需要比较 Buffer 与字节数的大小即可知道包是否读全了。如果包没有读全，就继续等待后续的数据到来。如果包读全了，则按照字节数规定的大小从 Buffer 中分割出相应的数据来处理即可。在该框架中，会额外从一个线程池中取出工作线程来进行有关于 Ticket 的后续处理。目前从现有的代码来看，这个工作线程池只用来做这件事情，它的默认工作线程个数与核心数相同，最大线程数是核心数的两倍。 根据 Java NIO 库的定义，Channel 中规定了几个 IO 操作，Selector 会轮询检查这些操作是否就绪，如果就绪就会返回 SelectionKey。SelectionKey 中包含了从就绪通道中进行正确操作的必要参数。</p>
<p>目前经过阅读代码，从客户端侧并未发现有什么明显的问题。所使用的方案基本上是成熟且稳定的，那有可能问题出现在服务端，这还有待后续的熟梳理。</p>
]]></content:encoded></item><item><title>二零二二年十一月第四周技术周报</title><link>https://blog.bktus.com/archives/4a64k4/</link><pubDate>Mon, 28 Nov 2022 00:47:29 +0800</pubDate><guid>https://blog.bktus.com/archives/4a64k4/</guid><description>&lt;p>这一周，我主要在优化一个服务。这个服务是用 Java 编写的。生产环境流量不大的时候，
也会出现调用批量超时的现象。而且发送超时的时候，CPU 占用率很低。经过观察，CPU 占用一直就上不去。这个时候就推测是不是线程都阻塞在了某个操作上，导致这个问题。我所接触到的大多数服务，包括这个服务，都是 IO 密集型的服务。&lt;/p></description><content:encoded><![CDATA[<p>这一周，我主要在优化一个服务。这个服务是用 Java 编写的。生产环境流量不大的时候，
也会出现调用批量超时的现象。而且发送超时的时候，CPU 占用率很低。经过观察，CPU 占用一直就上不去。这个时候就推测是不是线程都阻塞在了某个操作上，导致这个问题。我所接触到的大多数服务，包括这个服务，都是 IO 密集型的服务。</p>
<p>这类服务涉及大量的 RPC 调用，当 RPC 调用的时候，工作线程会阻塞，导致无法处理其他请求。所以这类服务的工作线程数都会设置得很大，确保有多余线程来处理 IO 请求，防止由于大部分线程阻塞导致后续请求得不到处理，最终导致大批量超时。 这其实是有问题的，虽然说目前 Java 在处理 Socket 和解析 Request 的时候已经采取了 NIO 的模式，但是对于请求的逻辑处理依然采用工作线程池的方式。当遇到工作线程阻塞在 IO 请求上的时候，这个工作线程只能等待 IO 请求完成或者超时。如果说，IO 请求所返回的结果并不是该请求最终结果的依赖，这种情况会将请求提交到其他线程池处理。这个时候它的处理对于该工作线程来说是异步的。</p>
<p>最后经过排查，这个服务由于框架问题，有关于工作线程数量的配置并未被读取。这导致了该服务启动时采取了默认的工作线程的数量设置，也就是工作线程数和 CPU 核心数相同。所以，工作线程在处理下游 RPC 调用时，只要下游接口的耗时稍微有波动，就会导致大量请求超时。这个时候，由于工作线程大部分时间阻塞在等待 IO 操作返回上，所以 CPU 占用也是很少的。 如何排查的呢，首先需要在日志框架中设置打印当前线程名称，对于
logback 日志框架，就是在日志格式设置中加上%t。然后，对单个节点在测试环境进行压测，查看在一定 QPS 下，该服务对于请求的处理情况。最好能给这个请求的逻辑代码加上
StopWatch，辅助进行分析。最后发现，输出日志的线程只有几个，不对劲。然后，使用
jstack 过滤出线程数量。发现确实只有四个。</p>
<p><img loading="lazy" src="https://img.bktus.com/jLgE3PZN.webp"></p>
<p>可以解释一下，这个 Java 服务使用的框架采用了 netty 框架进行请求的处理，最后会转交到 netty 的工作线程池对请求的逻辑进行处理。在这里，netty 工作线程池对应的前缀就是 nioEventLoopGroup-5。另外可以从 cpu 累计时间来辅助证明，确实只有这 4 个线程在处理所有的请求的主要逻辑。对于这种服务来说，生产环境下，工作线程数量一般设置为
800~1000，并且会严格设置 RPC 调用的超时时间防止大量工作线程被阻塞，最终导致节点的吞吐量急剧下降。 在更新框架后，该问题得到了解决。另外，我还发发现了该服务的一个主要接口涉及基于 http 协议的下游调用。该调用通过操作 OkHttp 库来进行，我发现调用并未设置超时时间。这是错误的情况，如果遇到极端情况，下游迟迟不返回，那么工作线程就会阻塞很久。所以，必须对下游调用设置一个合理的超时时间来保护上下游调用之间的通畅，防止雪崩现象的发生。超时时间一般分为三种，连接超时、读超时、写超时，都需要设置。另外，对于可能存在大量的 Http 调用情况，我开启了 OkHttp 的
ConnectionPool。</p>
<p><img loading="lazy" src="https://img.bktus.com/ViOknnN0.webp"></p>
<p>根据文档，ConnectionPool 的优势在于，多个同一地址的 http 或者 http/2 请求可以共用同一个连接。但需要注意，这个共享的前提是服务端支持 http 长连接。 另外，这周还主要去看了腾讯云的高级架构师 TCP 的相关内容，因为考试安排在周末。这个 TCP 考试比原来的架构师、从业者考试难度大了些，还是需要好好准备的。上班没太多时间看，所以我重物直接复习到周六凌晨 5 点，所幸最后考过了。我应该会写一篇文章来专门谈谈这个考试。</p>
]]></content:encoded></item></channel></rss>