51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
信创认证
公众号矩阵
移动端
%20
聊聊负载均衡
%20%20%20前言
我之前在一家游戏公司，经历过单节点过载引发的全站崩溃，也处理过跨机房流量不均导致的区域性故障。
真正的负载均衡不是简单配置Nginx，而是构建全局流量调度中枢。
这篇文章跟大家一起聊聊负载均衡底层原理和常见问题，希望对你会有所帮助。
一、负载均衡四大层级架构
现代应用流量调度全景图
各层核心作用：
- DNS层：实现地域级流量调度（如智能解析）
- LVS层：基于IP的4层负载，千万级并发支撑
- Nginx层：7层应用路由，支持HTTPS卸载
- 服务层：客户端负载均衡（如Ribbon）
- 数据层：数据库读写分离（如MyCAT）
二、五大负载算法
轮询算法（Round Robin）
实现原理：
public class RoundRobinLoadBalancer {
privatefinal List<String> endpoints;
privatefinal AtomicInteger counter = new AtomicInteger(0);
public String next() {
int index = counter.getAndIncrement() % endpoints.size();
if (index < 0) {
counter.set(0);
index = 0;
}
return endpoints.get(index);
}
}致命缺陷：未考虑服务器性能差异 → 低配服务器先过载
加权轮询（Weighted Round Robin）
动态权重配置：
图片
Nginx配置示例：
upstream backend {
server 192.168.1.10 weight=3; # 30%流量
server 192.168.1.11 weight=7; # 70%流量
server 192.168.1.12 backup; # 备用节点
}最少连接算法（Least Connections）
核心思想：将新请求分配给当前连接数最少的服务器
图片
Java实现：
public String leastConnections() {
return endpoints.stream()
.min(Comparator.comparingInt(this::getActiveConnections))
.orElseThrow();
}
// 模拟获取连接数（真实场景从监控获取）
private int getActiveConnections(String endpoint) {
return connectionStats.getOrDefault(endpoint, 0);
}一致性哈希（Consistent Hashing）
解决痛点：分布式缓存扩容时大量缓存失效
图片
虚拟节点实现：
public class ConsistentHash {
privatefinal SortedMap<Integer, String> circle = new TreeMap<>();
privatefinalint virtualNodes;
public void addNode(String node) {
for (int i = 0; i < virtualNodes; i++) {
String vNode = node + "#" + i;
int hash = hash(vNode);
circle.put(hash, node);
}
}
public String getNode(String key) {
if (circle.isEmpty()) returnnull;
int hash = hash(key);
SortedMap<Integer, String> tailMap = circle.tailMap(hash);
int nodeHash = tailMap.isEmpty() ? circle.firstKey() : tailMap.firstKey();
return circle.get(nodeHash);
}
}自适应负载算法（AI预测）
动态预测模型：
图片
关键指标：
# 使用简单线性回归预测
def predict_load(historical):
# 输入: [(time, cpu, mem, conns)]
X = [t[0] for t in historical]
y = [t[1] * 0.6 + t[2] * 0.3 + t[3] * 0.1 for t in historical]
model = LinearRegression().fit(X, y)
return model.predict([[next_time]])三、高可用负载架构设计
双活数据中心流量调度
图片
故障切换策略：
- 网络层：BGP Anycast实现IP级切换
- 应用层：Nginx主动健康检查
server 192.168.1.10 max_fails=3 fail_timeout=30s;- 服务层：Spring Cloud熔断降级
@HystrixCommand(fallbackMethod = "defaultResult")
public String service() { /* ... */ }四、深度避坑指南
陷阱1：缓存穿透引发雪崩
场景：某热点Key失效导致流量直击数据库
图片
解决方案：
// 使用Google Guava缓存空值
LoadingCache<String, Object> cache = CacheBuilder.newBuilder()
.maximumSize(1000)
.expireAfterWrite(30, TimeUnit.SECONDS)
.build(new CacheLoader<>() {
public Object load(String key) {
Object value = db.query(key);
return value != null ? value : NULL_OBJ; // 空对象占位
}
});陷阱2：TCP连接复用失衡
现象：长连接导致流量倾斜
图片
解决方案：
# Nginx配置短连接
upstream backend {
server 192.168.1.10;
keepalive 50; # 每worker最大连接数
keepalive_timeout 60s;
}陷阱3：跨机房延迟导致超时
案例：北京调用上海服务频繁超时
图片
优化方案：
- 路由策略：优先同机房调用
- 超时配置：
feign:
client:
config:
default:
connectTimeout: 500
readTimeout: 1000- 降级策略：
// 上海服务不可用时使用本地缓存
@Fallback(fallbackClass = LocalCacheService.class)
public interface RemoteService {}五、自研负载均衡器核心设计
架构设计
图片
健康检查实现
public class HealthChecker implements Runnable {
privatefinal List<ServerNode> nodes;
public void run() {
for (ServerNode node : nodes) {
boolean alive = checkNode(node);
node.setAlive(alive);
}
}
private boolean checkNode(ServerNode node) {
try (Socket socket = new Socket()) {
socket.connect(new InetSocketAddress(node.getIp(), node.getPort()), 500);
returntrue;
} catch (IOException e) {
returnfalse;
}
}
}总结
三层设计原则：
图片
五大核心原则：
- 冗余设计：至少2个负载均衡节点形成集群
- 多级分流：DNS+LVS+Nginx+服务层分级调度
- 动态调整：基于实时指标自动更新权重
- 故障隔离：快速剔除异常节点
- 灰度发布：权重式流量切换
负载均衡的本质不是平均分配流量，而是让合适的请求到达合适的节点。
当你能从流量调度中看到业务特征，从算法选择中预见系统瓶颈，才算真正掌握了高并发架构的精髓。
责任编辑：武晓燕
来源：
苏三说技术
分享到微信 
分享到微博相关推荐
聊聊 HDFS Balancer负载均衡器
平衡指的是每个DataNode的利用率与集群的利用率之间相差不超过给定的阈值百分比。此处的平衡指的是各个DataNode之间的平衡，同一个DataNode之间的各个磁盘是不会平衡的。2023-03-30 13:32:51
负载均衡器HDFS
聊聊Apache Dubbo，概念、架构和负载均衡
Dubbo作为阿里巴巴内部的SOA服务化治理方案的核心框架，在2012年时已经每天为2000+个服务提供3,000,000,000+次访问量支持，并被广泛应用于阿里巴巴集团的各成员站点。2019-11-07 08:49:26
Apache Dubb架构负载均衡
聊聊使用新的负载均衡策略改进微服务
本文讨论了平衡负载的方法，例如利用Consul进行服务发现、使用Nginx进行负载均衡以及使用Ribbon进行客户端负载均衡。涵盖的其他主题包括设置API网关和实现通信模式，为高效的微服务创建基础。2024-11-29 13:37:56
负载均衡（一）——初始负载均衡
最近在看的几本书中都提到负载均衡技术，发现自己对这部分内容了解的并不是很多，所以把这块知识补充一下。与君共勉!2017-07-03 08:08:25
负载均衡分类
负载均衡学习之DNS域名解析负载均衡
DNS(DomainNameSystem)是因特网的一项服务，它作为域名和IP地址相互映射的一个分布式数据库，能够使人更方便的访问互联网。人们在通过浏览器访问网站时只需要记住网站的域名即可，而不需要记住那些不太容易理解的IP地址。2019-03-18 10:44:41
负载均衡DNSUDP
负载均衡续：万亿流量场景下的负载均衡实践
上篇基本把负载均衡涉及到的基础都罗列了，那么到了实际场景下，特别是万亿流量场景下，真实的负载均衡方案又是怎么做的呢。本篇分别就淘宝双11、春运12306、微信红包和抖音春晚红包等场景在负载均衡方面的运用进行一些介绍和讨论。2021-04-21 14:56:28
负载均衡高并发优化技术架构
解析nginx负载均衡
对于一个大型网站来说，负载均衡是永恒的话题。随着硬件技术的迅猛发展，越来越多的负载均衡硬件设备涌现出来，如F5BIGIP、CitrixNetScaler、Radware等等，虽然可以解决问题，但其高昂的价格却往往令人望而却步，因此负载均衡软件仍然是大部分公司的不二之选。2012-07-31 09:25:42
nginx负载均衡反向代理
解读haproxy负载均衡
本文介绍了haproxy的负载均衡配置问题，首先了解下HAProxy的简单内容，然后对它的安装和文件常见都有介绍，最后是设置和监控的描述过程。2010-05-05 22:58:46
详述IPVS负载均衡
本文针对IPVS负载均衡的问题进行了阐述，包括IPVS的作用，IPVS负载均衡的算法，安装和配置。通过这三方面的介绍，想定大家对此一定能透彻了解。2010-05-07 14:27:16
IPVS负载均衡
负载均衡算法大全
本文剖析了一些服务器负载均衡算法的内容和原理。那么根据不同的负载均衡算法，我们也进行了主次不同的介绍。那针对于常用的我们进行了重点的介绍。2010-05-04 16:10:51
负载均衡算法
认识Varnish负载均衡
本文对varnish的负载均衡进行了介绍。首先我们对这个操作流程，也就是varnish的结构进行了分析，然后才对负载均衡问题进行了讲解。2010-05-05 18:51:25
Varnish负载均衡
Nginx负载均衡实战
在Linux操作系统下，nginx使用epoll事件模型，得益于此，nginx在Linux操作系统下效率相当高。同时Nginx在OpenBSD或FreeBSD操作系统上采用类似于epoll的高效事件模型kqueue。nginx同时是一个高性能的HTTP和反向代理服务器，也是一个IMAPPOP3SMTP代理服务器。2013-04-22 11:29:14
Nginx
解读负载均衡策略
文章导读：本文介绍了负载均衡策略的相关内容。首先我们对着个概念做一个简单的介绍，之后是关于这项技术的算法和能力检测的认识。2010-05-10 16:20:32
负载均衡策略
负载均衡之软硬件负载均衡的优缺点
对于数据流量过大的网络中，往往单一设备无法承担，需要多台设备进行数据分流，而负载均衡器就是用来将数据分流到多台设备的一个转发器。2018-11-07 10:12:37
nginx负载均衡和lvs负载均衡的比较分析
Nginx和LVS都可以用作多机负载的方案，它们各有优缺，在生产环境中需要好好分析实际情况并加以利用。2011-12-02 22:51:46
Nginx负载均衡
检查Lvs负载均衡故障，负载均衡器是重点
本文介绍了Lvs负载均衡故障的几个方面，通过对负载均衡器的检查和系统负载，防火墙等方面的排查，进行故障处理。通过本文您能较全面的了解故障发生的机理。2010-04-22 10:46:40
Lvs负载均衡故障负载均衡器
负载均衡策略概论
本文针对负载均衡策略进行了详细的阐述。那么，该文将负载均衡策略的分类，以及相关含义都进行了介绍。通过这个文章的内容，让我们对其能有一个系统的整理。2010-04-20 12:49:27
负载均衡策略
解说DNS负载均衡
本文主要解析了DNS负载均衡技术的相关内容：4.7层交换内容，设备和趋势。望大家从中能了解到这些基础内容。具体内容请见下文。2010-05-10 14:15:54
DNS负载均衡
SPDK动态负载均衡
Schedulerdynamic专为节能和提高CPU利用率，尤其是在工作负载表明随着时间的推移发生大的变化的情况下，能更好地动态化管理reactor上的线程。2022-05-06 09:21:57
工作负载SPDK线程
websphere负载均衡概要
websphere负载均衡在之前进行了一些软件上面的改进，那么现在我们来简单进行一下然后再与之前的版本进行一个对比。2010-04-21 14:34:33
websphere负载
相似话题
芯片
1082内容数据中心
5086内容
同话题下的热门内容
%20相关专题%20更多
%20技术荟萃 | 亲身体验 | 交流盛宴
HarmonyOS NEXT 高效开发与创新实践
2025-06-13 13:22:06
解读惠普Z系列工作站ZBook Ultra G1a高性能移动
2025-04-30 15:22:55
我收藏的内容
