[Spring Cloud] 부하분산 (Hoverfly, Ribbon, Hystrix)

서버간 통신 중 지연 발생시 해결방법

    ‣ 네트워크 타임아웃 설정
    ‣ 대기중 요청수 제한
    ‣ 여러 부하 분산 기법 구현
    ‣ 서킷 브레이커 패턴과 폴백 구현 설정

 

부하 분산 룰(rule)

스프링 클라우드 넷플릭스에서는 다양한 부하분산 알고리즘을 제공해주는데,
넷플릭스OSS 에서는 해당 알고리즘을 룰이라고 함

종류

    ‣ RoundrobinRule
        → 라운드 로빈 사용, 유입되는 요청은 모든 인스턴스에 순차적으로 분산. 기본!

    ‣ AvailabilityFilteringRule
        → 세번 연결 실패하면 서킷 차단됨.
        → 서킷 차단 및 동시연결이 많은것으로 표시된 서버 제외.
        → RoundrobinRule 을 베이스 클래스로 사용.

    ‣ WeightedReponseTimeRule
        → 인스턴스로 전달되는 트래픽의 규모는 인스턴스의 평균 응답시간에 반비례.
        → 응답시간 길수록 더 작은 가중치 가짐.
        → 부하분산클라이언트는 모든 서비스 인스턴스의 트래픽과 응답시간 기록함.

    ‣ BestAvailableRule
        → 서킷브레이커가 차단된 서버를 제외하고 동시 요청을 가장 적게 받은 서버를 선택.

 

 

호버플라이 (Hoverfly)

설명

HTTP 서비스를 스텁하고 시뮬레이션하는 가벼운 시각화 도구.
DSL 정의에서 메서드 하나를 호출해 모든 시뮬레이션중인 서비스의 메서드에 지연을 쉽게 추가 가능.
    → maven or gradle 에 hoverfly-java import 필요, JUnit에 @ClassRule 정의 필요. 

 

실습

‣‣‣ 실습 코드 링크 🙂

junit test class 일부

• junit test 실행시 hoverflyRule 을 먼저 실행하고 각 테스트메소드를 실행한다. (ex. test() 실행)
• test() 메소드를 호출한 결과는 아래에 있다. ↓ ↓ ↓ ↓ ↓

junit test 호출 출력 결과, 부하분산 처리됨을 확인할 수 있다.

application.yml 설정정보. (테스트 프로젝트의 설정파일에 정의)

※ https://www.baeldung.com/hoverfly 에도 잘 설명되어 있다. (사실 해당기능을 많이 쓰는지는 잘 모르겠다;)

 

 

리본(Ribbon)

설명

- Client LoadBalancer 이다.
- 개발자가 로드밸런싱 기능 구현을 가능하도록 한다. (L4 사용없이)
- 클라이언트 서버가 로드밸런싱을 한다! 
- 유레카랑 사용시 강력크하다 👍
- 더이상 업그레이드를 하지 않음.

ribbon

※ 보통은 물리적으로 L4 switch 을 이용하여 로드밸런싱 처리를 할것이다.
이를 이용시 추가 서버비용 등이 발생할것이다.
이에따른 절차도 필요할것으로 보인다. 

L4 switch

 

실습 

‣‣‣ 실습 코드 링크 🙂

🔆 서버간 통신하여 로드밸런싱 처리 확인: Ribbon 적용 서버에서 Demo1 서버 호출 (포트를 여러개로 정의하여 서버띄우기)

• Ribbon 적용 서버

# .. gradle 파일 내 아래의 내용을 추가함 

implementation 'org.springframework.cloud:spring-cloud-starter-netflix-ribbon:2.1.4.RELEASE'

~Application.java

 

application.yml

 

controller

→ 빨간박스를 보면, demo1 으로 도메인을 정의해놓았다.
이는 application.yml 의 demo1: ribbon: listOfServers 정보를 호출하도록 한 것이다. (내부적으로 인터셉터 처리를 한다고함)

• Ribbon 적용 서버에서 호출할 서버 실행구성 

인텔리제이의 실행/디버그 구성에서 Spring Boot 실행정보를 셋팅한다. (VM 옵션: -Dserver.port=정의포트) 그리고 실행! x N

...그리고 테스트! (API 호출)
로드밸런싱 처리가 됨! 왔다갔다,, 서버별 API 호출 결과 로그를 확인할 수 있다.

 

 

히스트릭스 (Hystrix)

설명

- 분산시스템 내에서 서비스 간의 액세스 지점을 격리하고, 서비스 전반에 걸쳐 계단식 오류를 중지하고, 폴백 옵션을 제공하여 이를 수행
- RxJava 에 의해 만들어짐
- Failure as a First class citizen
   → 분산시스템에서는 실패를 1급 시민으로 간주.
- 더이상 업그레이드를 하지 않음. 

 

실습

‣‣‣ 실습 코드 링크 🙂

💥 서버(PirServer → Demo1Server 호출)간 통신 중, 에러발생 유도

1️⃣ Hystrix 미적용: 에러 노출 확인

fallback 적용이 안된 모습

2️⃣ Hystrix 적용: @HystrixCommand 및 fallback 적용

RestTemplate 으로 호출 및 fallback 적용된 모습

@HystrixCommand
- 메소드 호출시 메소드 실행 성공/실패 결과를 통계냄
- 통계에 따라 서킷 오픈 여부를 판단하고 조치함.

※ 서킷 오픈
주어진 시간동안 호출제한 / 에러반환 함
조기차단하여 본인을 보호함

- 정의해놓은 모든 메소드는 정해진 응답시간 내에 반환되어야 함. 그렇지 않으면 Exception 발생 & fallback 정의 수행

 

⭐️ Hystrix 보단 Resilience4j 을 사용하는것이 좋음.
- Resilience4j 가 Java8 지원 및 함수형 프로그래밍을 지원해준다고 함.

 

 

 

---

참고

책: 마스터링 스프링 클라우드
링크: https://www.youtube.com/watch?v=K4laj5cDYLg&list=PL9mhQYIlKEhdtYdxxZ6hZeb0va2Gm17A5&index=5