<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/"><channel><title>Java on Tech Philosopher</title><link>https://blog.bktus.com/tags/java/</link><description>Recent content in Java on Tech Philosopher</description><generator>Hugo</generator><language>zh-CN</language><lastBuildDate>Wed, 15 Nov 2023 20:25:05 +0800</lastBuildDate><atom:link href="https://blog.bktus.com/tags/java/index.xml" rel="self" type="application/rss+xml"/><item><title>二零二三年二月第四周技术周报</title><link>https://blog.bktus.com/archives/rr0u6h/</link><pubDate>Wed, 15 Nov 2023 20:25:05 +0800</pubDate><guid>https://blog.bktus.com/archives/rr0u6h/</guid><description>&lt;p>本周我发现有些服务框架写得并不是很好，特别是某些 Java 框架。当 CPU 占用达到 40%
左右的时候，就会出现大量的超时现象。这些服务，CPU 核心和内存容量不是不多，工作线程数目也不是不够。但是，就是跑不满 CPU。用 Java 性能工具分析发现，其实发现大部分工作线程处于 Idel 或者 Waiting 状态。目前综合所有情况分析，还是百思不得其解。NIO
也用上了，还用的是 Netty 框架，但是吞吐量就是上不去。通过对于线程的分析，发现并没有特别繁忙的业务线程。推断应该是 IO 或者某种等待机制导致了这种低处理效率。 这次我是准备通过削减节点数量来降本，在执行前并没有考虑特别多的因素。所以我在削减节点容量的时候，只是通过查看 CPU 的负载来判断节点是否能够承受。当我将北京地域的
workload 平均 CPU 占用率提升到 35%-40%的时候，整个服务出现了大量的超时现象。当时把我吓了一跳。后面从监控上分析，几乎是整个背景地域的节点都超时了，也就是处于一种”休克“状态。&lt;/p></description><content:encoded>&lt;p>本周我发现有些服务框架写得并不是很好，特别是某些 Java 框架。当 CPU 占用达到 40%
左右的时候，就会出现大量的超时现象。这些服务，CPU 核心和内存容量不是不多，工作线程数目也不是不够。但是，就是跑不满 CPU。用 Java 性能工具分析发现，其实发现大部分工作线程处于 Idel 或者 Waiting 状态。目前综合所有情况分析，还是百思不得其解。NIO
也用上了，还用的是 Netty 框架，但是吞吐量就是上不去。通过对于线程的分析，发现并没有特别繁忙的业务线程。推断应该是 IO 或者某种等待机制导致了这种低处理效率。 这次我是准备通过削减节点数量来降本，在执行前并没有考虑特别多的因素。所以我在削减节点容量的时候，只是通过查看 CPU 的负载来判断节点是否能够承受。当我将北京地域的
workload 平均 CPU 占用率提升到 35%-40%的时候，整个服务出现了大量的超时现象。当时把我吓了一跳。后面从监控上分析，几乎是整个背景地域的节点都超时了，也就是处于一种”休克“状态。&lt;/p>
&lt;p>本周也继续重构某一个老的 PHP 网关服务，新的网关用 Java 写成。但是我其实不是很赞成网关用 Java，毕竟 Java 这种语言的执行特性很大程度上决定了它不适合特别高的并发。并且，我们目前所用的都是 JDK 8，并没有引入轻量级的线程，每个 4c8g 容器内线程最多也就 800 个，多了线程切换开销就会特别大。所以单个容器的吞吐量有限，承载同样的流量需要更多的容器。刚开始我是用 Go 重写的，这个框架很不错而且也有专门的团队维护，但是 leader 还是让我用部门自研的那个 Java 框架。可能人事上的考虑居多吧，无奈，我还是先写吧。&lt;/p>
</content:encoded></item><item><title>二零二二年十二月第三周技术回顾</title><link>https://blog.bktus.com/archives/kwvjou/</link><pubDate>Thu, 19 Jan 2023 17:40:11 +0800</pubDate><guid>https://blog.bktus.com/archives/kwvjou/</guid><description>&lt;p>这一周，主要的工作是针对某个 Java 服务进行优化。该服务一直存在 CPU 占用率无法提升上来的问题。首先考虑的问题是，该服务是否存在工作线程不足的问题。后面发现，并非
CPU 占用无法提升，而是 CPU 占用提升后会导致较多的超时问题。该服务很久以前就有反馈性能不足，不建议继续使用。&lt;/p></description><content:encoded><![CDATA[<p>这一周，主要的工作是针对某个 Java 服务进行优化。该服务一直存在 CPU 占用率无法提升上来的问题。首先考虑的问题是，该服务是否存在工作线程不足的问题。后面发现，并非
CPU 占用无法提升，而是 CPU 占用提升后会导致较多的超时问题。该服务很久以前就有反馈性能不足，不建议继续使用。</p>
<p>所以我感觉，这个问题来自于框架，而非业务代码。 经过对框架代码进行阅读和梳理，该框架使用 netty 作为 NIO 服务器框架，并且会在执行业务逻辑的时候分发业务处理任务到工作线程。然后工作线程来处理业务逻辑。之前框架有个问题就是，工作线程数太少，难以应对高 IO 的情况。而现在的情况下，推断并非上次一样的问题，从日志来看工作线程数是足够的。会不会是客户端的问题。在整个微服务架构下，该服务会作为客户端去调用其他服务的接口。 这可能是一个切入点。通过阅读代码，发现该服务框架通过实现 Java 的
InvocationHandler 接口来生成代理类 ObjectProxy，该 ObjectProxy 接管对其他服务的
RPC 调用。业务代码中，通过 RPC 的方式发起对其他服务接口的调用时，ObjectProxy 会通过它关联的 ProtocolInvoker 来获取目标服务对应有效节点列表（这个有效节点列表每隔 30s 刷新一次）。</p>
<p>而后，通过将列表传入负载均衡器 LoadBalancer 获得本次调用的目标节点。然后，就通过具体协议对应的 Invoker 类向目标节点发起调用。Invoker 负责管理与目标服务之间的长连接，在调用的时候会选取一个连接来发送请求并接收响应。具体的请求方式与此次调用类型是异步还是同步有关。 客户端需要调用的每个目标服务由多个节点组成。对于每个节点，该框架都会默认创建两个 I/O 线程负责网络 I/O 传输（NIO 模式）。另外，该框架会为每个节点分别默认创建和处理器个数相当的 TCP 连接。每个 I/O 线程包含有一个
Selector 对连接的相关的事件进行轮询监听。而在每个 TCP 连接上会建立一个
TCPSession，每当需要发送一次请求时，会建立一个 Ticket 来跟踪这次请求及其关联响应。对于同步请求来说，发送请求后会被阻塞，直到响应到来为止。</p>
<p>对异步请求来说，会在 Ticket 中填入 callback 函数，当响应到来时，会通过
TicketNumber（Ticket 的唯一索引）找到对应的 Ticket 并调用其中事先填入的 callback
函数，进行后续的处理。 该框架对 NIO 的操作，在底层用到了 Java 提供的 NIO 库的能力。上面所提到的 TCP 链接，其实就是 NIO 库中的 SocketChannel。那么该框架如何分割各个数据包呢，该框架通过 Buffer 来存储目前已经读到的数据，而我们常用的 RPC 协议，会将该包的字节数存在包的首部，只需要比较 Buffer 与字节数的大小即可知道包是否读全了。如果包没有读全，就继续等待后续的数据到来。如果包读全了，则按照字节数规定的大小从 Buffer 中分割出相应的数据来处理即可。在该框架中，会额外从一个线程池中取出工作线程来进行有关于 Ticket 的后续处理。目前从现有的代码来看，这个工作线程池只用来做这件事情，它的默认工作线程个数与核心数相同，最大线程数是核心数的两倍。 根据 Java NIO 库的定义，Channel 中规定了几个 IO 操作，Selector 会轮询检查这些操作是否就绪，如果就绪就会返回 SelectionKey。SelectionKey 中包含了从就绪通道中进行正确操作的必要参数。</p>
<p>目前经过阅读代码，从客户端侧并未发现有什么明显的问题。所使用的方案基本上是成熟且稳定的，那有可能问题出现在服务端，这还有待后续的熟梳理。</p>
]]></content:encoded></item><item><title>二零二二年十一月第四周技术周报</title><link>https://blog.bktus.com/archives/4a64k4/</link><pubDate>Mon, 28 Nov 2022 00:47:29 +0800</pubDate><guid>https://blog.bktus.com/archives/4a64k4/</guid><description>&lt;p>这一周，我主要在优化一个服务。这个服务是用 Java 编写的。生产环境流量不大的时候，
也会出现调用批量超时的现象。而且发送超时的时候，CPU 占用率很低。经过观察，CPU 占用一直就上不去。这个时候就推测是不是线程都阻塞在了某个操作上，导致这个问题。我所接触到的大多数服务，包括这个服务，都是 IO 密集型的服务。&lt;/p></description><content:encoded><![CDATA[<p>这一周，我主要在优化一个服务。这个服务是用 Java 编写的。生产环境流量不大的时候，
也会出现调用批量超时的现象。而且发送超时的时候，CPU 占用率很低。经过观察，CPU 占用一直就上不去。这个时候就推测是不是线程都阻塞在了某个操作上，导致这个问题。我所接触到的大多数服务，包括这个服务，都是 IO 密集型的服务。</p>
<p>这类服务涉及大量的 RPC 调用，当 RPC 调用的时候，工作线程会阻塞，导致无法处理其他请求。所以这类服务的工作线程数都会设置得很大，确保有多余线程来处理 IO 请求，防止由于大部分线程阻塞导致后续请求得不到处理，最终导致大批量超时。 这其实是有问题的，虽然说目前 Java 在处理 Socket 和解析 Request 的时候已经采取了 NIO 的模式，但是对于请求的逻辑处理依然采用工作线程池的方式。当遇到工作线程阻塞在 IO 请求上的时候，这个工作线程只能等待 IO 请求完成或者超时。如果说，IO 请求所返回的结果并不是该请求最终结果的依赖，这种情况会将请求提交到其他线程池处理。这个时候它的处理对于该工作线程来说是异步的。</p>
<p>最后经过排查，这个服务由于框架问题，有关于工作线程数量的配置并未被读取。这导致了该服务启动时采取了默认的工作线程的数量设置，也就是工作线程数和 CPU 核心数相同。所以，工作线程在处理下游 RPC 调用时，只要下游接口的耗时稍微有波动，就会导致大量请求超时。这个时候，由于工作线程大部分时间阻塞在等待 IO 操作返回上，所以 CPU 占用也是很少的。 如何排查的呢，首先需要在日志框架中设置打印当前线程名称，对于
logback 日志框架，就是在日志格式设置中加上%t。然后，对单个节点在测试环境进行压测，查看在一定 QPS 下，该服务对于请求的处理情况。最好能给这个请求的逻辑代码加上
StopWatch，辅助进行分析。最后发现，输出日志的线程只有几个，不对劲。然后，使用
jstack 过滤出线程数量。发现确实只有四个。</p>
<p><img loading="lazy" src="https://img.bktus.com/jLgE3PZN.webp"></p>
<p>可以解释一下，这个 Java 服务使用的框架采用了 netty 框架进行请求的处理，最后会转交到 netty 的工作线程池对请求的逻辑进行处理。在这里，netty 工作线程池对应的前缀就是 nioEventLoopGroup-5。另外可以从 cpu 累计时间来辅助证明，确实只有这 4 个线程在处理所有的请求的主要逻辑。对于这种服务来说，生产环境下，工作线程数量一般设置为
800~1000，并且会严格设置 RPC 调用的超时时间防止大量工作线程被阻塞，最终导致节点的吞吐量急剧下降。 在更新框架后，该问题得到了解决。另外，我还发发现了该服务的一个主要接口涉及基于 http 协议的下游调用。该调用通过操作 OkHttp 库来进行，我发现调用并未设置超时时间。这是错误的情况，如果遇到极端情况，下游迟迟不返回，那么工作线程就会阻塞很久。所以，必须对下游调用设置一个合理的超时时间来保护上下游调用之间的通畅，防止雪崩现象的发生。超时时间一般分为三种，连接超时、读超时、写超时，都需要设置。另外，对于可能存在大量的 Http 调用情况，我开启了 OkHttp 的
ConnectionPool。</p>
<p><img loading="lazy" src="https://img.bktus.com/ViOknnN0.webp"></p>
<p>根据文档，ConnectionPool 的优势在于，多个同一地址的 http 或者 http/2 请求可以共用同一个连接。但需要注意，这个共享的前提是服务端支持 http 长连接。 另外，这周还主要去看了腾讯云的高级架构师 TCP 的相关内容，因为考试安排在周末。这个 TCP 考试比原来的架构师、从业者考试难度大了些，还是需要好好准备的。上班没太多时间看，所以我重物直接复习到周六凌晨 5 点，所幸最后考过了。我应该会写一篇文章来专门谈谈这个考试。</p>
]]></content:encoded></item><item><title>二零二二年十一月第三周技术回顾</title><link>https://blog.bktus.com/archives/c1vcs4/</link><pubDate>Mon, 21 Nov 2022 00:07:35 +0800</pubDate><guid>https://blog.bktus.com/archives/c1vcs4/</guid><description>&lt;p>这是我的第一篇有关于工作中遇到的技术问题的周期性回顾，所以本期的技术回顾主要是总结长期以来的经历，为以后的技术回顾开一个好头。 来公司工作了快半年了，最近我从客户端开发转成了后台开发。这是我希望的，但其实不是我要求的。因为个人感觉，在中国科技行业目前的职业生涯规划中，后台开发可以探索的东西会稍微多一些，接触问题的规模也会大很多。其实客户端也大有可为，我的第一个比较成熟的开源项目 GpgFrontend 就是一个客户端项目。我在其中投入了大量的时间，解决了大量的问题。尤其是编译问题、平台兼容性问题、稳定性问题。其探索的深度，问题的难度，都是不小的。&lt;/p></description><content:encoded><![CDATA[<p>这是我的第一篇有关于工作中遇到的技术问题的周期性回顾，所以本期的技术回顾主要是总结长期以来的经历，为以后的技术回顾开一个好头。 来公司工作了快半年了，最近我从客户端开发转成了后台开发。这是我希望的，但其实不是我要求的。因为个人感觉，在中国科技行业目前的职业生涯规划中，后台开发可以探索的东西会稍微多一些，接触问题的规模也会大很多。其实客户端也大有可为，我的第一个比较成熟的开源项目 GpgFrontend 就是一个客户端项目。我在其中投入了大量的时间，解决了大量的问题。尤其是编译问题、平台兼容性问题、稳定性问题。其探索的深度，问题的难度，都是不小的。</p>
<p>我目前觉得，为什么客户端和后端开发会被分出高下来，那是因为心没静下来，总想着往上爬。另外，对于技术的追求本来无所谓客户端、前端或者后台，他们背后的技术思想本质上是通用的，但是目前将职业看得太重，反而以职业分工来将技术划分地分明。我觉得这是不好的，所以虽然我是目前是一个后台开发，但我绝不能认为我仅仅是个后台开发，其他技术看都不看，学都不学，自己把自己的思维框起来。 现在职位转成了后台开发，我反而不知道该怎么做了。后台开发，我目前记得，我自己写过的最早的后台项目，是我 15 岁的时候用 Nodejs 写的一个天文论坛<a href="https://git.bktus.com/Saturneric/Stelescope">Stelescope</a> 。用了当时流行的
Express 框架。现在我还记得，当时第一次接触 MongoDB、登录登出的状态保存、异步回调等等技术概念。我印象最深的是异步回调，当时用了很久才理解。因为我当时连进程、线程的基本概念都搞得不是很清楚，更别说什么异步回调和闭包了。</p>
<p>那时，网上还在争论 Nodejs 和 PHP 孰优孰劣，Nodejs 到底适合什么场景，然后就是异步回调和多进程并行孰优孰劣等等。当时记得异步回调不能被阻塞，如果遇到阻塞操作会使用一种非阻塞的 API，这种 API 能够立即返回，将阻塞操作放到一边处理，主线程依然能够继续处理后续的代码。等阻塞操作处理完了，就会通知主线程执行回调函数来处理阻塞操作的结果。 后续，我还接触了 Python 的后台开发，写了一个简单的班级学业考勤管理系统
（<a href="https://git.bktus.com/Saturneric/SP">SP</a>）。在这里，我接触了 MVC 的思想，我理解为模型、视图和控制器。这是一种重要的思想，那时候前端的概念还不是很明细，前后端分离还不是主流思想。在当时，服务器负责动态页面的生成，由请求触发控制器做出响应。控制器基于模型进行计算，并最终通过模板引擎将模型渲染成页面，而后页面被返回到用户浏览器。就这么一个过程。记得当时，会在服务端定义很多模板，模板里选一些地方镂空，
待会存放数据。或者是定义一个小的卡片控件，放在 for 语句中，待会用模板引擎生成出很多卡片出来。在当时，我作为后台开发要考虑方方面面，包括页面漂不漂亮，数据安全，
响应快不快等等。</p>
<p>然后大一下开始，我就接触了 Spring 框架，具体用的就是 SpringBoot。这个时候，才真正了解到了关系型数据库。原来我对于关系型数据库的理解，仅仅是会安装，配置。记得很深刻，当时接触到了前后端分离的思想，觉得这是个好东西。拿出来和王老师讨论，说我们的全员育人管理系统用前后端分离最好。王老师非常开明，和我聊了很多，同意了我的方案。前后端分离，顾名思义，就是将动态页面的渲染放到用户那边，服务器仅仅负责数据的处理和存储。这样有助于分工和解耦，虽然当时网上也有很多质疑的声音，我还是觉得这是趋势。当时害痴迷于一种 RestfulAPI 的接口规范，觉得如果这样做我们连写项目文档也可以免了。但是现实很骨感，在实践中对于一些复杂的情况就难以保持 RestfulAPI 的风格。通过与 SpringBoot 打交道，我学会了很多有关后台的东西，目前我也在用这些原来的经验。我在大学本科生涯中，写了很多的 SpringBoot 项目。到现在，我进了公司发现部门的技术栈就是 Java，新的项目用的框架都是 SpringBoot，反倒用上了。虽然说我当时很厌恶
Java，觉得它臃肿与繁琐，包括现在也没有什么好感，但是 Java 的生态确实是很强大的，
想找个什么组件很容易，而且 Java 组件都是成熟的、良好维护的并且文档齐全。Java 技术栈对于面向生产的后台项目来说，确实是个省心、好找工作的技术栈。</p>
<p>在公司工作半年，其实算上实习都快一年了。总的来说，对于后台这块，我一直在捣鼓优化、缓存、线程这些东西。每天都在分析各种告警，有些是业务上的，有些是技术上问题。对于业务上的问题，只能好好地了解背景。对于技术上的问题，需要扩展自己的知识面，静下心来研究。包括一些目前自己感觉难以解决的问题，比如说在容器化部署过程中，总有一些容器存在偶发的超时问题，一直不能确定到底是容器的问题还是后台应用的问题。我现在思考，这一块需要一些更加深入的知识，比如说 CPU、内存、网络的虚拟化问题。 今天先这样吧，还有点其他事情要做。</p>
]]></content:encoded></item></channel></rss>