<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/"><channel><title>Kubernetes on Tech Philosopher</title><link>https://blog.bktus.com/tags/kubernetes/</link><description>Recent content in Kubernetes on Tech Philosopher</description><generator>Hugo</generator><language>zh-CN</language><lastBuildDate>Mon, 10 Nov 2025 21:38:26 +0100</lastBuildDate><atom:link href="https://blog.bktus.com/tags/kubernetes/index.xml" rel="self" type="application/rss+xml"/><item><title>二零二三年四月第二周技术周报</title><link>https://blog.bktus.com/archives/0ee6o6/</link><pubDate>Mon, 10 Nov 2025 21:38:26 +0100</pubDate><guid>https://blog.bktus.com/archives/0ee6o6/</guid><description>&lt;p>这篇周报是事后补写的。这一周，主要的工作是把配置下发服务从单地的数据中心改造成多地部署，这次主要动的是数据层和缓存层。&lt;/p>
&lt;p>我负责的配置下发服务，客户端分布在广州、深圳、上海、北京等全国多个城市。客户端需要根据运营策略拉取各种动态或静态的配置，比如节日活动、功能开关、故障时的临时屏蔽等等。这些配置由服务端统一下发，客户端根据自身的属性（地域、版本等）拉取对应的内容。随着客户端的规模越来越大，问题就出来了。特别是在活动上线、客户端批量启动的时候，配置拉取的请求会在短时间内剧增，服务端的 QPS 暴涨，严重的时候甚至会拖垮主服务节点。&lt;/p></description><content:encoded><![CDATA[<p>这篇周报是事后补写的。这一周，主要的工作是把配置下发服务从单地的数据中心改造成多地部署，这次主要动的是数据层和缓存层。</p>
<p>我负责的配置下发服务，客户端分布在广州、深圳、上海、北京等全国多个城市。客户端需要根据运营策略拉取各种动态或静态的配置，比如节日活动、功能开关、故障时的临时屏蔽等等。这些配置由服务端统一下发，客户端根据自身的属性（地域、版本等）拉取对应的内容。随着客户端的规模越来越大，问题就出来了。特别是在活动上线、客户端批量启动的时候，配置拉取的请求会在短时间内剧增，服务端的 QPS 暴涨，严重的时候甚至会拖垮主服务节点。</p>
<p>其实在容器层，我已经做了全国多地的 Kubernetes Workload 部署。但是数据层，也就是数据库和 Redis，仍然集中在广州。这样一来，即便请求是从北京或者成都的容器发出的，最终还是要跨地域访问广州的数据中心，延迟高，压力也全部集中在一个地方。另外，虽然服务里有容器内的缓存，但是容器本身应该保持无状态，它的运行内存并不适合长时间、大量地持有配置缓存。一旦配置数据涨到几百兆甚至上 GB，运维和资源的成本都会急剧上升。所以，我决定从数据层和缓存层入手，做一次更彻底的多地部署改造。</p>
<p>具体来说，主数据库实例（可读可写）仍然放在广州，运营人员在这个实例上管理和写入配置。然后在上海、北京、成都等地各部署一个只读副本，主库通过异步同步把数据分发到各地的副本，各地的容器只连接本地的副本拉取配置，不再跨地域访问。Redis 也按同样的思路，每个地域部署自己的实例，服务端优先从本地的 Redis 取配置，没有命中再回源到本地的只读副本或者主库。为了让客户端能命中就近的节点，我基于 DNS 做了地域级别的接入调度。另外，在配置下发平台里给不同的 Kubernetes Workload 打上标签（地域、版本等），容器按标签识别自己的身份，拉取对应的配置。运营人员还是在部署在广州的统一平台上集中管理配置，这一点没有变。</p>
<p>这样做的好处是，读请求分散到了各地的只读副本，主库的压力小了很多；客户端拉配置的网络路径变短了，延迟也降了下来；写入仍然集中在主库，配置管理还是统一的，操作上也简单。说白了，这个方案能成立，是因为配置下发是一个典型的“写少读多”的场景：新增活动、屏蔽功能这类写入很少，绝大多数请求都是读。</p>
<p>部署下来，效果还是比较明显的。各地客户端拉取配置的延迟明显降低，主库的读请求几乎全部转移到了只读副本上。在活动上线的流量高峰期间，整个系统表现稳定，没有再出现某个集中节点被打爆的情况。</p>
<p>最后记录几点体会。首先，多地部署数据库和缓存的时候，需要评估网络延迟、数据同步延迟和一致性的要求。对于配置下发这种场景，最终一致性就够了，不需要强同步。但是副本的同步延迟还是要监控起来，以免某个地方的配置没有及时生效。另外，缓存就近部署效果更好，尽可能不要让网络延迟拖累了 Redis。容器的无状态设计还是要坚持，缓存尽量外部化，避免容器失效导致缓存丢失或者资源浪费。还有就是，Workload 的标签管理是这个方案的核心，通过标签可以比较灵活地控制不同地域、不同版本的客户端拿到什么配置；地域的入口（DNS 或者其他导流的机制）也必须能解析到就近的入口，这样客户端才会走最近的节点。最后，权限划分要明确：主库的写权限、只读副本的只读账号、运营平台的权限，要分开。</p>
]]></content:encoded></item><item><title>理解 Kubernetes 中的 CPU 资源分配机制</title><link>https://blog.bktus.com/archives/fhs17u/</link><pubDate>Tue, 20 Jun 2023 23:26:27 +0800</pubDate><guid>https://blog.bktus.com/archives/fhs17u/</guid><description>&lt;p>Kubernetes（k8s）是一种流行的容器编排平台，它允许开发人员在云环境中部署、管理和自动化容器化应用程序。在 Kubernetes 中，CPU 资源的分配是一个关键的问题，它直接影响着应用程序的性能和可靠性。本文将介绍 Kubernetes 中的 CPU 资源分配机制，包括
CPU 请求和限制、CPU Share 机制以及 CPU 调度器等相关概念，以帮助开发人员更好地控制容器的 CPU 分配，从而提高应用程序的性能和可靠性。&lt;/p></description><content:encoded><![CDATA[<p>Kubernetes（k8s）是一种流行的容器编排平台，它允许开发人员在云环境中部署、管理和自动化容器化应用程序。在 Kubernetes 中，CPU 资源的分配是一个关键的问题，它直接影响着应用程序的性能和可靠性。本文将介绍 Kubernetes 中的 CPU 资源分配机制，包括
CPU 请求和限制、CPU Share 机制以及 CPU 调度器等相关概念，以帮助开发人员更好地控制容器的 CPU 分配，从而提高应用程序的性能和可靠性。</p>
<h2 id="cpu-分配单位">CPU 分配单位</h2>
<p>在 Kubernetes 中，CPU 的分配单位是 millicpu（毫核），一个 CPU 资源等于 1000 毫核。例如，一个 Pod 请求 0.5 个 CPU 资源，可以表示为 500 毫核。它是基于 Linux 内核的 CPU 分配机制实现的。在 Linux 内核中，CPU 时间是以时间片的形式分配的，每个时间片通常为几毫秒。Kubernetes 利用这个特性，将 CPU 时间片分配单位转换为毫核。</p>
<h2 id="cpu-资源分配机制">CPU 资源分配机制</h2>
<p>在 Kubernetes 中，CPU 资源的分配是通过两种方式来实现的：CPU 请求和限制。CPU 请求用于告诉 Kubernetes 调度器，该 Pod 至少需要多少 CPU 资源才能正常运行；CPU 限制用于告诉 Kubernetes，该 Pod 最多可以使用多少 CPU 资源。如果节点上可用的 CPU 资源不足以满足 Pod 的 CPU 请求，该 Pod 就无法调度到该节点上运行。如果节点上可用的 CPU
资源不足以满足 Pod 的 CPU 限制，该 Pod 仍然可以运行，但可能会受到 CPU 资源的限制，导致运行缓慢或者出现其他问题。 需要注意的是，CPU 请求和限制是 Kubernetes 中的两个独立的概念。通常情况下，应该根据应用程序的实际需求来设置 CPU 请求和限制。如果设置的 CPU 请求过低，可能会导致 Pod 无法正常运行或者运行缓慢；如果设置的 CPU
限制过高，可能会导致节点上的其他 Pod 的 CPU 资源不足，影响整个集群的性能和可用性。</p>
<h2 id="cpu-share-机制">CPU Share 机制</h2>
<p>另外，在 Kubernetes 中，CPU Share（CPU 份额）是一种用于控制容器 CPU 资源分配的机制。它通过为每个容器分配一个相对权重值来控制容器之间的 CPU 分配比例。CPU Share
机制是 Linux 内核的一个特性，它被用于控制进程之间的 CPU 时间分配，Kubernetes 利用这个特性为容器分配 CPU 资源。 CPU Share 是一个整数值，表示相对于其他容器的 CPU
使用量。例如，如果一个容器的 CPU Share 值是 1024，另一个容器的 CPU Share 值是
512，那么前者将获得更多的 CPU 时间，约为后者的两倍。如果两个容器的 CPU Share 值相等，它们将按照时间片轮转的方式共享 CPU 资源。 在 Kubernetes 中，可以通过设置容器的 CPU 请求和限制来控制容器的 CPU Share 值。容器的 CPU 请求用于告诉 Kubernetes
调度器，该容器需要的最小 CPU 资源量；容器的 CPU 限制用于告诉 Kubernetes，该容器最多可以使用多少 CPU 资源。Kubernetes 调度器根据容器的 CPU 请求和限制以及节点上的 CPU 资源量来计算容器的 CPU Share 值。如果多个容器的 CPU 请求和限制相等，则它们将获得相等的 CPU Share 值，即按照时间片轮转的方式共享 CPU 资源。</p>
<h2 id="cpu-调度器">CPU 调度器</h2>
<p>在 Kubernetes 中，CPU 调度器是负责将 Pod 调度到节点上的组件之一。它会根据节点上的可用 CPU 资源和 Pod 的 CPU 请求来做出调度决策。CPU 调度器还会考虑节点上的其他因素，例如内存、磁盘、网络等资源的使用情况。 当一个 Pod 被调度到节点上时，Kubernetes 会为该 Pod 分配一个 CPU Cgroup。Cgroup 是 Linux 内核的一个特性，
它可以将进程（或者容器）分组，并限制它们的资源使用量。在 Kubernetes 中，每个 Pod
都有自己的 CPU Cgroup，用于限制该 Pod 使用的 CPU 资源。 总之，CPU 资源的分配是
Kubernetes 中的一个关键问题。通过设置 CPU 请求和限制、使用 CPU Share 机制以及
CPU 调度器等功能，可以更好地控制容器的 CPU 分配，提高应用程序的性能和可靠性。</p>
]]></content:encoded></item><item><title>二零二二年十二月第四周技术回顾</title><link>https://blog.bktus.com/archives/4sm6qv/</link><pubDate>Thu, 19 Jan 2023 19:31:54 +0800</pubDate><guid>https://blog.bktus.com/archives/4sm6qv/</guid><description>&lt;p>本周我感染了新冠病毒，一共在家待了 9 天。在此期间，工作上的最主要的事情是评估一款小程序的推广上线，对我所负责的基础服务体系的影响。这款小程序切中了当时国人的需求，预计有大量流量涌入，可能对基础服务体系的核心服务造成冲击。原先，他们有也一个功能将要上线，流量也很大，我已经评估过并且扩容了。但是，这次还是在他们推送了上亿的量级的通知后，发生了大批量的超时现象。 早上八点钟，躺在床上修养的我就被叫起来，说是登录接口出现大量超时现象。&lt;/p></description><content:encoded><![CDATA[<p>本周我感染了新冠病毒，一共在家待了 9 天。在此期间，工作上的最主要的事情是评估一款小程序的推广上线，对我所负责的基础服务体系的影响。这款小程序切中了当时国人的需求，预计有大量流量涌入，可能对基础服务体系的核心服务造成冲击。原先，他们有也一个功能将要上线，流量也很大，我已经评估过并且扩容了。但是，这次还是在他们推送了上亿的量级的通知后，发生了大批量的超时现象。 早上八点钟，躺在床上修养的我就被叫起来，说是登录接口出现大量超时现象。</p>
<p>我马上拿出笔记本，连上内网一看，这个接口流量直接翻了 20 多倍。我都捏了一把汗，首先是怀疑业务容器数量不足，无法承接这么大的流量。然后通过筛选日志，发现并不是这个问题。问题分为两个部分，其一是内部某个接口有限流，当前流量已经超出限流；另一个是缓存数据库挂接的数据库打满。 内部接口限流比较好解决，通过紧急呼叫找到了对应的同事调高了限流的阈值。另一个缓存数据库，由于大量老用户涌入导致不断要从数据库中读取老数据到缓存中，而且频率随着流量的增长不断提升，最终打满了缓存后面挂接的数据库的
I/O。后续针对几个核心的缓存数据库，再次做了一批扩容，提升了缓存容量和节点数量以应对后续更大的流量和并发。</p>
<p>在日常维护上面，主要是将某个网关服务 Pod 的 k8s 调度策略做了调整，将其调度到由
CVM 虚拟化直接支持（一层调度）的计算节点上。原先，这个服务调度的到的计算节点是我们公司采购的物理服务器上虚拟出来的 CVM，用作计算节点。调度到这上面以后，再于这个
CVM 上虚拟出一个执行空间（参考 Docker 技术），然后将 Pod 调度到这个节点开始运行
（二层调度）。一个计算节点上，可能存在几个甚至十几个 Pod。这些后台程序都运行于同一台操作系统中，并且只是执行空间不同罢了。这就导致了 CPU、内存、网卡等资源的隔离性不强，常常会互相干扰。并且当这台 CVM 计算节点需要重启或者升级的时候，其上的所有 Pod 都会被驱逐。</p>
<p>计算节点操作系统中的风吹草动，会影响到其上所有 Pod。这对于这种网关这种可靠性和延迟要求苛刻的服务，来说并不合适。 而一层调度计算节点，其实是由云来分配计算资源并虚拟出 CVM 来单独执行这个程序，CVM 资源是从整个云资源池中取得。并且这种方式支持
k8s，因为这种新的调度方式会虚拟成 k8s 上的一种“超级节点”。k8s 可以直接将 Pod 调度到超级节点上，Pod 可以直接基于一层调度运行，也就是直接运行在一个单独 CVM 上。这种方式隔离性强，互相之间不会受到影响。由于每个 CVM 只运行一个节点，所以当单独一个 Pod 出现问题时，可以针对这个 Pod 的问题进行修复，而不会影响到其他 Pod。 通过修改调度策略，将服务的所有 Pod 调度到超级节点后，整个服务运行更加稳定了。在高峰期超时率和 CPU 占用率双高的情况也很少再出现。</p>
]]></content:encoded></item></channel></rss>