二零二三年二月第四周技术周报
本周我发现有些服务框架写得并不是很好,特别是某些 Java 框架。当 CPU 占用达到 40% 左右的时候,就会出现大量的超时现象。这些服务,CPU 核心和内存容量不是不多,工作线程数目也不是不够。但是,就是跑不满 CPU。用 Java 性能工具分析发现,其实发现大部分工作线程处于 Idel 或者 Waiting 状态。目前综合所有情况分析,还是百思不得其解。NIO 也用上了,还用的是 Netty 框架,但是吞吐量就是上不去。通过对于线程的分析,发现并没有特别繁忙的业务线程。推断应该是 IO 或者某种等待机制导致了这种低处理效率。 这次我是准备通过削减节点数量来降本,在执行前并没有考虑特别多的因素。所以我在削减节点容量的时候,只是通过查看 CPU 的负载来判断节点是否能够承受。当我将北京地域的 workload 平均 CPU 占用率提升到 35%-40%的时候,整个服务出现了大量的超时现象。当时把我吓了一跳。后面从监控上分析,几乎是整个背景地域的节点都超时了,也就是处于一种”休克“状态。 ...