Sep 13 2020

Redis缓存穿透、击穿、雪崩问题终极解决方案：从布隆过滤器到多级缓存架构

作者： 绝缘体..   发布： 2020-09-13 17:08   分类： 未分类   阅读：   抢沙发  
 
更多

Redis缓存穿透、击穿、雪崩问题终极解决方案：从布隆过滤器到多级缓存架构

在现代高并发分布式系统中，Redis 作为最主流的内存数据库和缓存中间件，被广泛应用于提升系统性能、降低数据库负载。然而，随着业务复杂度的提升，缓存的使用也带来了诸如缓存穿透、缓存击穿、缓存雪崩等典型问题。这些问题若处理不当，可能导致数据库压力剧增、服务响应延迟甚至系统崩溃。

本文将系统性地分析这三大缓存问题的本质、产生原因，并结合布隆过滤器、互斥锁、多级缓存、熔断降级等技术手段，提供一套完整的生产级解决方案与最佳实践指南，帮助开发者构建高可用、高性能的缓存系统。

一、缓存穿透：请求击穿缓存直达数据库

1.1 什么是缓存穿透？

缓存穿透是指查询一个根本不存在的数据，由于缓存中没有该数据，请求直接穿透到后端数据库。由于数据库中也查不到，无法写回缓存，导致每次相同请求都直接访问数据库，形成“穿透”。

在高并发场景下，大量无效请求持续访问数据库，极易导致数据库连接耗尽、CPU飙升，最终引发服务不可用。

1.2 典型场景

  • 恶意攻击：攻击者构造大量不存在的 ID 发起请求。
  • 爬虫或错误调用：前端传入非法参数（如负数 ID、格式错误的 UUID）。
  • 数据尚未生成：某些业务数据尚未写入数据库，但已被请求。

1.3 解决方案

1.3.1 布隆过滤器（Bloom Filter）

布隆过滤器是一种空间效率极高的概率型数据结构，用于判断一个元素是否可能存在于集合中。它允许少量的误判（False Positive），但不会出现漏判（False Negative）。

  • 若布隆过滤器返回“不存在”，则数据一定不存在。
  • 若返回“可能存在”，则需进一步查询缓存或数据库。
原理简述：

布隆过滤器使用一个位数组和多个哈希函数。插入元素时，通过多个哈希函数计算出多个位置，并将位数组对应位置置为 1。查询时，若所有哈希位置都为 1，则认为“可能存在”；否则一定不存在。

优点：
  • 内存占用极小（可控制误判率）
  • 查询速度快（O(k)，k 为哈希函数数量）
  • 适合海量数据去重判断
缺点：
  • 存在误判（可调低误判率）
  • 不支持删除操作（标准版）
实现示例（Java + Redisson）：
import org.redisson.Redisson;
import org.redisson.api.RBloomFilter;
import org.redisson.api.RedissonClient;

public class BloomFilterExample {
    public static void main(String[] args) {
        RedissonClient redisson = Redisson.create();

        // 创建布隆过滤器，预计插入100万条数据，期望误判率0.03%
        RBloomFilter<String> bloomFilter = redisson.getBloomFilter("userFilter");
        bloomFilter.tryInit(1000000, 0.0003);

        // 添加已存在的用户ID
        bloomFilter.add("user:1001");
        bloomFilter.add("user:1002");

        // 查询前先检查布隆过滤器
        String userId = "user:9999";
        if (!bloomFilter.contains(userId)) {
            System.out.println("用户不存在，直接返回，避免穿透");
            return;
        }

        // 否则继续查缓存或数据库
        System.out.println("布隆过滤器认为可能存在，继续查询");
    }
}

建议：布隆过滤器可部署在应用层或独立服务中，与 Redis 配合使用。对于高频查询的实体（如用户、商品），建议在数据写入时同步更新布隆过滤器。

1.3.2 缓存空值（Cache Null）

对于查询结果为空的请求，也写入缓存，设置较短的过期时间（如 5-30 秒），避免重复查询数据库。

// 伪代码示例
String result = redis.get("user:9999");
if (result != null) {
    return result;
}

User user = db.query("user:9999");
if (user == null) {
    // 缓存空值，防止穿透
    redis.setex("user:9999", 30, ""); // 空字符串或特殊标记
    return null;
}
redis.setex("user:9999", 3600, serialize(user));
return user;

注意：空值缓存不宜过长，避免数据“假死”；建议结合布隆过滤器使用，减少空值缓存数量。

1.3.3 参数校验与限流

  • 接口层进行严格参数校验（如 ID 范围、格式验证）
  • 使用限流组件（如 Sentinel、Guava RateLimiter）限制单位时间内的请求频率
  • 对高频无效请求进行 IP 封禁或降级处理

二、缓存击穿：热点Key失效瞬间的并发冲击

2.1 什么是缓存击穿？

缓存击穿是指某个热点Key在缓存中过期的瞬间，大量并发请求同时发现缓存失效，全部涌向数据库，造成瞬时压力剧增。

与穿透不同，击穿针对的是真实存在的热点数据，如首页商品、热门文章等。

2.2 典型场景

  • 热门商品详情页缓存过期
  • 秒杀活动商品信息缓存失效
  • 高频访问的配置项过期

2.3 解决方案

2.3.1 互斥锁（Mutex Lock）

在缓存失效时，只允许一个线程去加载数据库，其他线程等待并重试缓存。

public String getUser(String userId) {
    String cacheKey = "user:" + userId;
    String result = redis.get(cacheKey);
    if (result != null) {
        return result;
    }

    // 缓存未命中，尝试获取分布式锁
    String lockKey = "lock:" + cacheKey;
    boolean locked = redis.setnx(lockKey, "1");
    if (locked) {
        try {
            // 重新检查缓存（防止重复加载）
            result = redis.get(cacheKey);
            if (result != null) return result;

            // 加载数据库
            User user = db.loadUser(userId);
            if (user != null) {
                redis.setex(cacheKey, 3600, serialize(user));
            } else {
                redis.setex(cacheKey, 60, ""); // 空值缓存
            }
            return serialize(user);
        } finally {
            redis.del(lockKey); // 释放锁
        }
    } else {
        // 未获取到锁，短暂休眠后重试
        Thread.sleep(50);
        return getUser(userId); // 递归重试（生产环境建议用循环）
    }
}

优化建议：

  • 使用 SETNX + EXPIRE 或 SET 命令的 NX EX 参数保证原子性
  • 设置锁超时时间，防止死锁
  • 可使用 Redisson 的 RLock 简化实现
RLock lock = redisson.getLock("lock:user:1001");
if (lock.tryLock(1, 10, TimeUnit.SECONDS)) {
    try {
        // 加载数据
    } finally {
        lock.unlock();
    }
}

2.3.2 逻辑过期（Logical Expiration）

不设置 Redis 的 TTL，而是将过期时间作为数据的一部分存储。读取时判断逻辑时间是否过期，若过期则异步更新。

public String getUserWithLogicalExpire(String userId) {
    String cacheKey = "user:" + userId;
    String cached = redis.get(cacheKey);
    if (cached == null) {
        // 缓存未命中，同步加载
        return loadAndSet(userId);
    }

    // 解析数据与过期时间
    CacheData data = parse(cached);
    if (System.currentTimeMillis() < data.expireTime) {
        return data.value;
    }

    // 异步刷新缓存，避免阻塞
    executor.submit(() -> {
        try {
            loadAndSet(userId);
        } catch (Exception e) {
            log.error("异步刷新缓存失败", e);
        }
    });

    // 返回旧数据（允许短暂脏读）
    return data.value;
}

private String loadAndSet(String userId) {
    User user = db.loadUser(userId);
    String value = serialize(user);
    // 设置逻辑过期时间（如 5 分钟后）
    long expireTime = System.currentTimeMillis() + 300_000;
    redis.set(cacheKey, serialize(new CacheData(value, expireTime)));
    return value;
}

优点：避免缓存失效瞬间的并发冲击
缺点：数据可能短暂过期，适合对一致性要求不高的场景

三、缓存雪崩：大规模缓存同时失效

3.1 什么是缓存雪崩？

缓存雪崩是指在某一时刻，大量缓存Key同时过期，或Redis集群宕机，导致所有请求直接打到数据库，数据库无法承受压力而崩溃。

3.2 常见原因

  • 缓存预热不足，系统重启后大量缓存未加载
  • 批量设置缓存时使用相同过期时间
  • Redis 节点故障或网络分区
  • 大促期间流量激增，缓存容量不足

3.3 解决方案

3.3.1 随机过期时间

避免所有缓存同时失效，设置过期时间时加入随机值。

int baseExpire = 3600; // 1小时
int randomExpire = new Random().nextInt(600); // 0-10分钟随机
int finalExpire = baseExpire + randomExpire;
redis.setex("key", finalExpire, value);

建议：基础过期时间 + 随机偏移（如 ±10%）

3.3.2 多级缓存架构（Local + Redis）

构建**本地缓存（如 Caffeine） + 分布式缓存（Redis）**的多级缓存体系，降低对 Redis 的依赖。

LoadingCache<String, String> localCache = Caffeine.newBuilder()
    .maximumSize(10_000)
    .expireAfterWrite(10, TimeUnit.MINUTES)
    .build(key -> loadFromRedisOrDB(key));

public String getUser(String userId) {
    String key = "user:" + userId;
    return localCache.get(key);
}

private String loadFromRedisOrDB(String key) {
    String value = redis.get(key);
    if (value == null) {
        value = db.load(key);
        if (value != null) {
            redis.setex(key, 3600 + new Random().nextInt(600), value);
        }
    }
    return value;
}

优势：

  • 本地缓存抗住大部分请求，减少 Redis 压力
  • 即使 Redis 宕机，本地缓存仍可提供服务（短暂）

3.3.3 服务熔断与降级

使用熔断器（如 Hystrix、Sentinel）在数据库压力过大时自动降级。

@HystrixCommand(fallbackMethod = "getDefaultUser")
public User getUserFallback(String userId) {
    return db.loadUser(userId);
}

public User getDefaultUser(String userId) {
    log.warn("数据库降级，返回默认用户");
    return User.defaultUser();
}

Sentinel 配置示例：

  • 设置 QPS 阈值（如 1000）
  • 触发后返回默认值或缓存历史数据

3.3.4 Redis 高可用部署

  • 使用 Redis Cluster 或 Redis Sentinel 实现主从切换
  • 多可用区部署，避免单点故障
  • 启用持久化（RDB+AOF），防止数据丢失

3.3.5 缓存预热

系统启动或大促前，提前加载热点数据到缓存。

@Component
@PostConstruct
public void warmUpCache() {
    List<String> hotUserIds = db.getHotUserIds();
    for (String id : hotUserIds) {
        User user = db.loadUser(id);
        redis.setex("user:" + id, 3600 + new Random().nextInt(600), serialize(user));
    }
}

四、生产环境最佳实践指南

4.1 缓存设计原则

原则 说明
只缓存热点数据 避免缓存冷数据，浪费内存
合理设置过期时间 热点数据长过期，普通数据短过期
避免大Key和大Value 单个Value建议不超过 10KB，避免网络阻塞
缓存与数据库双写一致性 根据业务选择“先删缓存再更新数据库”或“延迟双删”

4.2 监控与告警

  • 监控指标：
    • 缓存命中率（建议 > 95%）
    • Redis 内存使用率
    • QPS、响应时间
    • 缓存穿透/击穿请求量
  • 告警规则：
    • 命中率低于 90% 持续 5 分钟
    • Redis 内存使用率 > 80%
    • 数据库慢查询增多

4.3 工具推荐

工具 用途
Redisson 分布式锁、布隆过滤器、限流器
Caffeine 高性能本地缓存
Sentinel 流量控制、熔断降级
Prometheus + Grafana 缓存监控可视化
ELK 日志分析，识别异常请求

4.4 架构演进路径

  1. 初级：Redis 缓存 + 简单过期策略
  2. 中级：布隆过滤器 + 互斥锁 + 空值缓存
  3. 高级：多级缓存 + 逻辑过期 + 熔断降级
  4. 企业级：统一缓存网关 + 自动化预热 + 智能过期策略

五、总结

Redis 缓存的三大问题——穿透、击穿、雪崩，本质都是缓存失效或缺失导致数据库压力激增。通过系统性设计，可以有效规避这些风险：

  • 缓存穿透：使用布隆过滤器 + 空值缓存 + 参数校验
  • 缓存击穿：采用互斥锁 + 逻辑过期保护热点Key
  • 缓存雪崩：实施随机过期 + 多级缓存 + 熔断降级 + 高可用部署

在生产环境中，应结合业务特点选择合适方案，并建立完善的监控体系，确保缓存系统的稳定性与高性能。

缓存不是银弹，但合理的缓存架构，是构建高并发系统的基石。掌握这些核心技术，才能在面对海量请求时，从容不迫，游刃有余。

本文来自极简博客，作者：紫色茉莉，转载请注明原文链接：Redis缓存穿透、击穿、雪崩问题终极解决方案：从布隆过滤器到多级缓存架构

打赏

本文固定链接: https://www.cxy163.net/archives/7988 | 绝缘体

该日志由 绝缘体.. 于 2020年09月13日 发表在 未分类 分类下， 你可以发表评论，并在保留原文地址及作者的情况下引用到你的网站或博客。
原创文章转载请注明: Redis缓存穿透、击穿、雪崩问题终极解决方案：从布隆过滤器到多级缓存架构 | 绝缘体
关键字: , , , ,
【上一篇】
【下一篇】

您可能还会对这些文章感兴趣！

  1. CVE-2022-0543
  2. docker进阶_dockerswarm
  3. docker进阶_docker-compose
  4. docker基础_网络模式
  5. 命令行清空memcache缓存的两种方法
  6. laravel 缓存系统的使用
  7. 使用php编程的一些经验总结
  8. BUUCTF-[WebLogic]CVE-2017-10271（反
  9. mysql 配置ssl ，java应用连接
  10. (转载)Go channel 的妙用
  11. MariaDB/MySQL配置文件my.cnf解读
  12. 开发者应该知道的12条Linux系统管理命令
  13. 如何在 Laravel 代码中正确地使用数据库事务
  14. Windows下DOS命令查看占用××端口的程序
  15. Java中的IO操作与流处理
  16. Mybatis、Mybatis Generator、Mybatis-Plus、

Redis缓存穿透、击穿、雪崩问题终极解决方案：从布隆过滤器到多级缓存架构：等您坐沙发呢！

发表评论


快捷键：Ctrl+Enter