처리율 제한 장치의 설계

처리율 제한 장치?

---

네트워크 시스템에서 처리율 제한 장치란?

• 클라이언트 또는 서비스가 보내는 트래픽의 처리율(rate)을 제어하기 위한 장치
• HTTP를 예로 들면, 특정 기간 내에 전송되는 클라이언트의 요청 횟수를 제한하는 장치가 될 것
• API 요청 횟수가 임계치를 넘어서면, 이후의 요청은 차단된다

 

예시

---

처리율 제한 장치 사용 예시

1. 사용자는 초당 2회 이상 새 글을 올릴 수 없다.
2. 같은 IP 주소로는 하루에 10개 이상의 계정을 생성할 수 없다.
3. 같은 디바이스로는 주당 5회 이상 리워드를 요청할 수 없다.

 

장점?

---

처리율 제한 장치를 두는 이유

• DoS(Denial of Service) 공격에 의한 자원 고갈을 방지
• 서버의 수를 줄일 수 있어, 비용적인 측면에서 유리
• 사용자의 잘못된 이용 패턴으로 인한 서버의 과부하를 막을 수 있다.

 

설계에 대한 이해

---

처리율 제한 장치를 설계하는데 있어 요구사항을 확실히 할 필요가 있다

• 예를 들면, 면접에서 처리율 제한 장치에 대한 설계를 의뢰받았다고 해보자.

지원자🗣️: 어떤 종류의 처리율 제한 장치를 설계해야 하나요? 클라이언트 측인가요 아니면 서버 측 제한 장치인가요?

면접관👤: 서버측 API를 위한 장치를 설계한다고 가정합시다.

지원자🗣️: 어떤 기준을 사용해서 API를 제한해야 할까요? IP 주소? 아니면 사용자 ID? 아니면 다른 기준이 있나요?

면접관👤: 다양한 형태의 제어 규칙을 정의할 수 있도록 하는 유연한 시스템을 원합니다.

지원자🗣️: 시스템의 규모는 어느 정도여야 할까요? 스타트업 정도일까요 아니면 사용자가 더 많은 대기업 정도일까요?

면접관👤: 설계할 시스템은 대규모 요청을 처리할 수 있어야 합니다.

지원자🗣️: 시스템이 분산 환경에서 동작해야 하나요?

면접관👤: 그렇습니다.

지원자🗣️: 처리율 제한 장치는 독립된 서비스입니까 아니면 애플리케이션 코드에 포함될 수 있는 겁니까?

면접관👤: 그 결정은 본인이 하시면 되겠습니다.

지원자🗣️: 사용자의 요청이 처리율 제한 장치에 의해 걸러진 경우 사용자에게 그 사실을 알려야 하나요?

• 이렇게 시스템에 대한 요구사항을 명확히 할 필요가 있다.
• 좋은 면접관은 훌륭한 나의 동료가 될 수 있음을 기억!

 

어디에 설치?

---

처리율 제한 장치를 어디에 둘 것인지?

1. 클라이언트 측

• 클라이언트는 처리율 제한을 안정적으로 걸 수 있는 장소가 못된다.
• 클라이언트 요청은 쉽게 위조가 가능하기 때문

 

2. 서버 측

• 처리율 제한 장치를 API 서버에 두는 방법

 

• 처리율 제한 장치를 미들 웨어로 만들어서, API 서버로 가는 요청을 통제하도록 하는 것
• 제한 장치에 의해 요청이 반환되는 경우, 상태 코드 429를 반환해서 클라이언트에 알린다.

 

3. API Gateway

• API Gateway는 처리율 제한, SSL 종단, 사용자 인증, IP 허용 목록 관리 등을 지원하는 위탁관리형 서비스
• 마이크로서비스의 경우, 처리율 제한 장치는 보통 API Gateway에 구현된다.
• API Gateway가 처리율 제한을 지원하는 미들웨어라는 점을 일단 기억하자.

 

고려 사항

---

처리율 제한 장치를 설계하기 위해 고려해야 하는 추가적인 점들

• 회사에서 사용하고 있는 프로그래밍 언어, 캐시 서비스 등 현재 사용하고 있는 기술 스택을 점검한다.
• 사업 필요에 맞는 처리율 제한 알고리즘을 찾아야 한다.
  • 서버 측에서 모든 것을 구현한다면 알고리즘에는 제한이 없을 수 있다.
  • 하지만 서드 파티가 제공하는 게이트웨이를 사용하기로 했다면 선택지가 제한될 수 있다.
• 서비스의 설계가 마이크로서비스에 기반하고 있고, 사용자 인증 등을 이미 API 게이트웨이에서 처리하고 있다면, 처리율 제한 기능 또한 게이트웨이에 포함시켜야 할 수 있다.
• 처리율 제한 장치를 직접 구현할 인력이 없다면, 상용 API 게이트웨이를 사용하는 것이 효율적일 것이다.

 

[참고문헌]

가상 면접 사례로 배우는 대규모 시스템 설계 기초