分布式專題——分布式限流解決方案

文章目錄

1、什么是限流？

2、分布式限流有幾種維度呢？

3、分布式主流限流方案

4、究其本質，限流算法底層

4.1、令牌桶算法

4.1.1、令牌生成

4.1.2、令牌獲取

4.2、漏桶算法

4.2.1、漏桶 vs 令牌桶的區別

4.4、滑動窗口

5、實現

5.1、單體

5.1.1、guava的RateLimiter客戶端限流

5.2、分布式

5.2.1、Nginx 限流

6、彩蛋(下載文件，前面100m不做限制，后面限制256k)

5.2.2、Lua+Redis限流

5.2.2.1、純代碼版本

1、什么是限流？

比如我們春節搶票，你會發現我們有時候要輸入驗證碼，為什么呢？原因就是在春節搶票的那個時間點，流量是很大的，qps非常高，可能幾十萬，甚至幾百萬都有可能，這個流量過來我們的系統，那我們的系統可能會崩，這個時候，為了防止這種情況，所以我們要限流，而這種限流手段就是分布式限流。

2、分布式限流有幾種維度呢？

時間 限流基于某段時間范圍或者某個時間點，也就是我們常說的“時間窗口”，比如對每分鐘、每秒鐘的時間窗口做限定

資源 基于可用資源的限制，比如設定最大訪問次數，或最高可用連接數

上面兩個維度結合起來看，限流就是在某個時間窗口對資源訪問做限制，比如設定每秒最多100個訪問請求。但在真正的場景里，我們不止設置一種限流規則，而是會設置多個限流規則共同作用，主要的幾種限流規則如下：

QPS和連接數控制

上圖中的連接數和QPS(query per second)限流來說，我們可以設定IP維度的限流，也可以設置基于單個服務器的限流。在真實環境中通常會設置多個維度的限流規則，比如設定同一個IP每秒訪問頻率小于10，連接數小于5，再設定每臺機器QPS最高1000，連接數最大保持200。更進一步，我們可以把某個服務器組或整個機房的服務器當做一個整體，設置更high-level的限流規則，這些所有限流規則都會共同作用于流量控制。

傳輸速率（百度網盤下載速度）

對于“傳輸速率”大家都不會陌生，比如資源的下載速度。有的網站在這方面的限流邏輯做的更細致，比如普通注冊用戶下載速度為100k/s，購買會員后是10M/s，這背后就是基于用戶組或者用戶標簽的限流邏輯。

黑白名單

如果某個IP在一段時間的訪問次數過于頻繁，被系統識別為機器人用戶或流量攻擊，那么這個IP就會被加入到黑名單，從而限制其對系統資源的訪問，這就是我們俗稱的“封IP”。

白名單可以自由穿梭在各種限流規則里，暢行無阻。

3、分布式主流限流方案

網關層限流 將限流規則應用在所有流量的入口處

上面是一個最普通的流量模型，從上到下的路徑依次是：

ⅰ. 用戶流量從網關層轉發到后臺服務

ⅱ. 后臺服務承接流量，調用緩存獲取數據

ⅲ. 緩存中無數據，則訪問數據庫

為什么說它是一個漏斗模型，因為流量自上而下是逐層遞減的，在網關層聚集了最多最密集的用戶訪問請求，其次是后臺服務。然后經過后臺服務的驗證邏輯之后，刷掉了一部分錯誤請求，剩下的請求落在緩存上，如果緩存中沒有數據才會請求漏斗最下方的數據庫，因此數據庫層面請求數量最小（相比較其他組件來說數據庫往往是并發量能力最差的一環，阿里系的MySQL即便經過了大量改造，單機并發量也無法和Redis、Kafka之類的組件相比）

中間件限流 將限流信息存儲在分布式環境中某個中間件里（比如Redis緩存），每個組件都可以從這里獲取到當前時刻的流量統計，從而決定是拒絕服務還是放行流量

Guava

目前我有2臺服務器[Server 1，Server 2]，這兩臺服務器都部署了一個登陸服務，假如我希望對這兩臺機器的流量進行控制，比如將兩臺機器的訪問量總和控制在每秒20以內，如果用Guava來做，只能獨立控制每臺機器的訪問量<=10。

○ mq限流

○ lua+redis限流

4、究其本質，限流算法底層

4.1、令牌桶算法

Token Bucket令牌桶算法，它有以下兩個關鍵角色：

令牌 獲取到令牌的Request才會被處理，其他Requests要么排隊要么被直接丟棄

桶 用來裝令牌的地方，所有Request都從這個桶里面獲取令牌

了解了這兩個角色之后，讓我們來看一下令牌桶算法的圖示：

下面我們分別從令牌生成和令牌獲取兩個流程來解讀令牌桶算法：

4.1.1、令牌生成

這個流程涉及到令牌生成器和令牌桶，前面我們提到過令牌桶是一個裝令牌的地方，既然是個桶那么必然有一個容量，也就是說令牌桶所能容納的令牌數量是一個固定的數值。

對于令牌生成器來說，它會根據一個預定的速率向桶中添加令牌，比如我們可以配置讓它以每秒100個請求的速率發放令牌，或者每分鐘50個。注意這里的發放速度是勻速，也就是說這50個令牌并非是在每個時間窗口剛開始的時候一次性發放，而是會在這個時間窗口內勻速發放。

在令牌發放器就是一個水龍頭，假如在下面接水的桶子滿了，那么自然這個水（令牌）就流到了外面。在令牌發放過程中也一樣，令牌桶的容量是有限的，如果當前已經放滿了額定容量的令牌，那么新來的令牌就會被丟棄掉。

4.1.2、令牌獲取

每個訪問請求到來后，必須獲取到一個令牌才能執行后面的邏輯。假如令牌的數量少，而訪問請求較多的情況下，一部分請求自然無法獲取到令牌，那么這個時候我們可以設置一個“緩沖隊列”來暫存這些多余的令牌。

緩沖隊列其實是一個可選的選項，并不是所有應用了令牌桶算法的程序都會實現隊列。當有緩存隊列存在的情況下，那些暫時沒有獲取到令牌的請求將被放到這個隊列中排隊，直到新的令牌產生后，再從隊列頭部拿出一個請求來匹配令牌。

當隊列已滿的情況下，這部分訪問請求將被丟棄。在實際應用中我們還可以給這個隊列加一系列的特效，比如設置隊列中請求的存活時間，或者將隊列改造為PriorityQueue，根據某種優先級排序，而不是先進先出。算法是死的，人是活的，先進的生產力來自于不斷的創造，在技術領域尤其如此。

4.2、漏桶算法

Leaky Bucket。瞧見沒，又是個桶，限流算法是跟桶杠上了，那么漏桶和令牌桶有什么不同呢？我們來看圖說話：

漏桶算法的前半段和令牌桶類似，但是操作的對象不同，令牌桶是將令牌放入桶里，而漏桶是將訪問請求的數據包放到桶里。同樣的是，如果桶滿了，那么后面新來的數據包將被丟棄。

漏桶算法的后半程是有鮮明特色的，它永遠只會以一個恒定的速率將數據包從桶內流出。打個比方，如果我設置了漏桶可以存放100個數據包，然后流出速度是1s一個，那么不管數據包以什么速率流入桶里，也不管桶里有多少數據包，漏桶能保證這些數據包永遠以1s一個的恒定速度被處理。

4.2.1、漏桶 vs 令牌桶的區別

根據它們各自的特點不難看出來，這兩種算法都有一個“恒定”的速率和“不定”的速率。令牌桶是以恒定速率創建令牌，但是訪問請求獲取令牌的速率“不定”，反正有多少令牌發多少，令牌沒了就干等。而漏桶是以“恒定”的速率處理請求，但是這些請求流入桶的速率是“不定”的。

從這兩個特點來說，漏桶的天然特性決定了它不會發生突發流量，就算每秒1000個請求到來，那么它對后臺服務輸出的訪問速率永遠恒定。而令牌桶則不同，其特性可以“預存”一定量的令牌，因此在應對突發流量的時候可以在短時間消耗所有令牌，其突發流量處理效率會比漏桶高，但是導向后臺系統的壓力也會相應增多。

4.4、滑動窗口

Rolling Window，穿上你的滑板鞋，跟我一起搖擺。

上圖中黑色的大框就是時間窗口，我們設定窗口時間為5秒，它會隨著時間推移向后滑動。我們將窗口內的時間劃分為五個小格子，每個格子代表1秒鐘，同時這個格子還包含一個計數器，用來計算在當前時間內訪問的請求數量。那么這個時間窗口內的總訪問量就是所有格子計數器累加后的數值。

比如說，我們在每一秒內有5個用戶訪問，第5秒內有10個用戶訪問，那么在0到5秒這個時間窗口內訪問量就是15。如果我們的接口設置了時間窗口內訪問上限是20，那么當時間到第六秒的時候，這個時間窗口內的計數總和就變成了10，因為1秒的格子已經退出了時間窗口，因此在第六秒內可以接收的訪問量就是20-10=10個。

滑動窗口其實也是一種計算器算法，它有一個顯著特點，當時間窗口的跨度越長時，限流效果就越平滑。打個比方，如果當前時間窗口只有兩秒，而訪問請求全部集中在第一秒的時候，當時間向后滑動一秒后，當前窗口的計數量將發生較大的變化，拉長時間窗口可以降低這種情況的發生概率

5、實現

5.1、單體

5.1.1、guava的RateLimiter客戶端限流

代碼實現：

pom

org.springframework.boot spring-boot-starter-web com.google.guava guava 18.0 org.projectlombok lombok

1

2

3

4

5

6

7

8

9

10

11

12

13

14

application.yml

spring: application: name: rate-limiter server: port: 10086

1

2

3

4

5

日志打印（可不要）

INFO [%d{HH:mm:ss.SSS}] %-5level %logger{15} - %msg%n [%d{HH:mm:ss.SSS}] %-5level [%thread]%logger{15} - %msg%n logs/%d.log 30

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

代碼測試：

package com.zhz.ratelimiter.controller; import com.google.common.util.concurrent.RateLimiter; import lombok.extern.slf4j.Slf4j; import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RestController; import java.util.concurrent.TimeUnit; /** * @author zhouhengzhe * @description: * @date 2022/1/6 上午2:17 * @since v1 */ @RestController @Slf4j public class RateLimiterController { //每秒2個 RateLimiter limiter = RateLimiter.create(2.0); //非阻塞限流 @GetMapping("/tryAcquire") public String tryAcquire(Integer count) { if (limiter.tryAcquire(count)) { log.info("success,rate is {}", limiter.getRate()); return "success"; } else { log.info("fail,rate is {}", limiter.getRate()); return "fail"; } } //限定時間的非阻塞限流 @GetMapping("/tryAcquireWithTimeout") public String tryAcquireWithTimeout(Integer count, Integer timeout) { if (limiter.tryAcquire(count, timeout, TimeUnit.SECONDS)) { log.info("success,rate is {}", limiter.getRate()); return "success"; } else { log.info("fail,rate is {}", limiter.getRate()); return "fail"; } } //同步阻塞限流 @GetMapping("/acquire") public String acquire(Integer count) { limiter.acquire(count); log.info("success,rate is {}", limiter.getRate()); return "success"; } }

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

啟動類

package com.zhz.ratelimiter; import org.springframework.boot.SpringApplication; import org.springframework.boot.WebApplicationType; import org.springframework.boot.autoconfigure.SpringBootApplication; import org.springframework.boot.builder.SpringApplicationBuilder; /** * @author mac */ @SpringBootApplication public class RateLimiterApplication { public static void main(String[] args) { //第一種方式 // SpringApplication.run(RateLimiterApplication.class, args); //第二種方式 new SpringApplicationBuilder(RateLimiterApplication.class) .web(WebApplicationType.SERVLET) .run(args); } }

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

5.2、分布式

5.2.1、Nginx 限流

測試方法

/** * nginx專用 * 1、修改host文件 （127.0.0.1 www.testnginx.com） * 2、修改nginx->講上面的域名，添加到路由規則中 * 配置文件地址：/usr/local/nginx/conf/nginx.conf * 3、添加配置項（具體可看resource文件地址） * **/ @GetMapping("/nginx") public String nginx(){ log.info("Nginx success"); return "success"; }

1

2

3

4

5

6

7

8

9

10

11

12

13

1、修改Host文件( mac/Linux中 vim /etc/hosts)

127.0.0.1 www.testnginx.com

1

2、修改nginx->講上面的域名，添加到路由規則中

server { server_name www.testnginx.com location /access-limit/ { proxy_pass http://127.0.0.1:10086/;#127.0.0.1可以換成具體ip } }

1

2

3

4

5

6

3、基于IP限流配置

# 根據IP地址限制速度 # 1） 第一個參數 $binary_remote_addr # binary_目的是縮寫內存占用，remote_addr表示通過IP地址來限流 # 2） 第二個參數 zone=iplimit:20m # iplimit是一塊內存區域（記錄訪問頻率信息），20m是指這塊內存區域的大小 # 3） 第三個參數 rate=1r/s # 比如100r/m，標識訪問的限流頻率 limit_req_zone $binary_remote_addr zone=iplimit:20m rate=1r/s; server { server_name www.testnginx.com location /access-limit/ { proxy_pass http://127.0.0.1:10086/; # 基于IP地址的限制 # 1） 第一個參數zone=iplimit => 引用limit_req_zone中的zone變量 # 2） 第二個參數burst=2，設置一個大小為2的緩沖區域，當大量請求到來。 # 請求數量超過限流頻率時，將其放入緩沖區域 # 3) 第三個參數nodelay=> 緩沖區滿了以后，直接返回503異常 limit_req zone=iplimit burst=2 nodelay; } }

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

4、基于服務器級別做限流

# 根據服務器級別做限流 limit_req_zone $server_name zone=serverlimit:10m rate=100r/s; server { server_name www.testnginx.com location /access-limit/ { proxy_pass http://127.0.0.1:10086/; # 基于服務器級別的限制 # 通常情況下，server級別的限流速率是最大的 limit_req zone=serverlimit burst=100 nodelay; } }

1

2

3

4

5

6

7

8

9

10

11

12

13

5、基于基于連接數的配置

# 基于連接數的配置 limit_conn_zone $binary_remote_addr zone=perip:20m; limit_conn_zone $server_name zone=perserver:20m; server { server_name www.testnginx.com location /access-limit/ { proxy_pass http://127.0.0.1:10086/; # 每個server最多保持100個連接 limit_conn perserver 100; # 每個IP地址最多保持1個連接 limit_conn perip 5; # 異常情況，返回504（默認是503） limit_req_status 504; limit_conn_status 504; } }

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

請求地址：http://www.testnginx.com/access-limit/nginx

6、彩蛋(下載文件，前面100m不做限制，后面限制256k)

server { server_name www.testnginx.com # 彩蛋 location /download/ { limit_rate_after 100m; limit_rate 256k; } }

1

2

3

4

5

6

7

8

9

5.2.2、Lua+Redis限流

lua腳本學習：https://www.runoob.com/lua/lua-tutorial.html

安裝lua

1、下載lua（http://www.lua.org/ftp/教程）下載最新版本

如果是mac，可以直接brew install lua

2、idea安裝emmylua插件

pom依賴：

4.0.0 org.springframework.boot spring-boot-starter-parent 2.3.5.RELEASE com.zhz lua-redis-ratelimiter 0.0.1-SNAPSHOT lua-redis-ratelimiter Demo project for Spring Boot 1.8 org.springframework.boot spring-boot-starter org.springframework.boot spring-boot-starter-test test org.springframework.boot spring-boot-starter-web org.springframework.boot spring-boot-starter-data-redis org.projectlombok lombok org.springframework.boot spring-boot-starter-aop com.google.guava guava 18.0 org.springframework.boot spring-boot-maven-plugin

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

配置文件application.properties

spring.application.name=ratelimiter-test server.port=10086 spring.redis.database=0 spring.redis.host=localhost spring.redis.port=6379 logging.file.name=log/${spring.application.name}.log

1

2

3

4

5

6

7

8

logback-spring.xml

INFO [%d{HH:mm:ss.SSS}] %-5level %logger{15} - %msg%n [%d{HH:mm:ss.SSS}] %-5level [%thread]%logger{15} - %msg%n logs/%d.log 30

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

ratelimiter.lua

-- 獲取方法簽名特征 local methodKey = KEYS[1] redis.log(redis.LOG_DEBUG, 'key is', methodKey) -- 調用腳本傳入的限流大小 local limit = tonumber(ARGV[1]) -- 獲取當前流量大小 local count = tonumber(redis.call('get', methodKey) or "0") -- 是否超出限流閾值 if count + 1 > limit then -- 拒絕服務訪問 return false else -- 沒有超過閾值 -- 設置當前訪問的數量+1 redis.call("INCRBY", methodKey, 1) -- 設置過期時間 redis.call("EXPIRE", methodKey, 1) -- 放行 return true end

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

處理類

package com.zhz.luaredisratelimiter.limiter; import com.google.common.collect.Lists; import lombok.extern.slf4j.Slf4j; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.context.annotation.Configuration; import org.springframework.data.redis.core.StringRedisTemplate; import org.springframework.data.redis.core.script.RedisScript; import org.springframework.stereotype.Component; /** * @author mac */ @Component @Slf4j @Deprecated public class AccessLimiter { @Autowired private StringRedisTemplate stringRedisTemplate; @Autowired private RedisScript rateLimitLua; public void limitAccess(String key, Integer limit) { // step 1 : request Lua script // Lua script的真身,Lua腳本中的Key列表,Lua腳本Value列表 boolean acquired = stringRedisTemplate.execute( rateLimitLua, Lists.newArrayList(key), limit.toString() ); if (!acquired) { log.error("your access is blocked, key={}", key); throw new RuntimeException("Your access is blocked"); } } }

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

redis配置類

package com.zhz.luaredisratelimiter.config; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; import org.springframework.core.io.ClassPathResource; import org.springframework.data.redis.connection.RedisConnectionFactory; import org.springframework.data.redis.core.RedisTemplate; import org.springframework.data.redis.core.StringRedisTemplate; import org.springframework.data.redis.core.script.DefaultRedisScript; @Configuration public class RedisConfiguration { // 如果本地也配置了StringRedisTemplate，可能會產生沖突 // 可以指定@Primary，或者指定加載特定的@Qualifier @Bean public RedisTemplate redisTemplate( RedisConnectionFactory factory) { return new StringRedisTemplate(factory); } @Bean public DefaultRedisScript loadRedisScript() { DefaultRedisScript redisScript = new DefaultRedisScript(); redisScript.setLocation(new ClassPathResource("ratelimiter.lua")); redisScript.setResultType(Boolean.class); return redisScript; } }

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

控制器

package com.zhz.luaredisratelimiter.controller; import com.zhz.luaredisratelimiter.limiter.AccessLimiter; import lombok.extern.slf4j.Slf4j; import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RestController; import javax.annotation.Resource; /** * @author mac */ @RestController @Slf4j public class Controller { @Resource private AccessLimiter accessLimiter; @GetMapping("test") public String test() { accessLimiter.limitAccess("ratelimiter-test", 3); return "success"; } // 提醒！ 注意配置掃包路徑（com.imooc.springcloud路徑不同） @GetMapping("test-annotation") @com.zhz.luaredisratelimiter.anno.AccessLimiter(limit = 1) public String testAnnotation() { return "success"; } }

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

5.2.2.2、注解版本

aop注解

package com.zhz.luaredisratelimiter.anno; import java.lang.annotation.*; /** * @author mac */ @Target({ElementType.METHOD}) @Retention(RetentionPolicy.RUNTIME) @Documented public @interface AccessLimiter { int limit(); String methodKey() default ""; }

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

aop切面

package com.zhz.luaredisratelimiter.aop; import com.google.common.collect.Lists; import com.zhz.luaredisratelimiter.anno.AccessLimiter; import lombok.extern.slf4j.Slf4j; import org.aspectj.lang.JoinPoint; import org.aspectj.lang.annotation.Aspect; import org.aspectj.lang.annotation.Before; import org.aspectj.lang.annotation.Pointcut; import org.aspectj.lang.reflect.MethodSignature; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.data.redis.core.StringRedisTemplate; import org.springframework.data.redis.core.script.RedisScript; import org.springframework.stereotype.Component; import org.springframework.util.StringUtils; import java.lang.reflect.Method; import java.util.Arrays; import java.util.stream.Collectors; /** * @author mac */ @Slf4j @Aspect @Component public class AccessLimiterAspect { @Autowired private StringRedisTemplate stringRedisTemplate; @Autowired private RedisScript rateLimitLua; @Pointcut("@annotation(com.zhz.luaredisratelimiter.anno.AccessLimiter)") public void cut() { log.info("cut"); } @Before("cut()") public void before(JoinPoint joinPoint) { // 1. 獲得方法簽名，作為method Key MethodSignature signature = (MethodSignature) joinPoint.getSignature(); Method method = signature.getMethod(); AccessLimiter annotation = method.getAnnotation(AccessLimiter.class); if (annotation == null) { return; } String key = annotation.methodKey(); Integer limit = annotation.limit(); // 如果沒設置methodkey, 從調用方法簽名生成自動一個key if (StringUtils.isEmpty(key)) { Class[] type = method.getParameterTypes(); key = method.getClass() + method.getName(); if (type != null) { String paramTypes = Arrays.stream(type) .map(Class::getName) .collect(Collectors.joining(",")); log.info("param types: " + paramTypes); key += "#" + paramTypes; } } // 2. 調用Redis // Lua script的真身, Lua腳本中的Key列表,Lua腳本Value列表 boolean acquired = stringRedisTemplate.execute( rateLimitLua, Lists.newArrayList(key), limit.toString() ); if (!acquired) { log.error("your access is blocked, key={}", key); throw new RuntimeException("Your access is blocked"); } } }

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

具體代碼：https://gitee.com/zhouzhz/java-system-learn/tree/master/%E5%88%86%E5%B8%83%E5%BC%8F%E9%99%90%E6%B5%81%E6%96%B9%E6%A1%88/limiter-demo

Redis 分布式

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。