2장. 개락적인 규모 추정

효과적인 개략적 규모 추정을 위해서는 규모 확장성을 표현하는데 필요한 기본기에 능숙해야 한다. 특히 2의 제곱수, 응답지연 값, 가용성에 관계된 수치들을 기본적으로 잘 이해하고 있어야 한다.

 

2의 제곱수

분산 시스템에서 다루는 데이터 양은 엄청나게 커질 수 있으나, 계산법은 기본을 크게 벗어나지 않는다. 제대로 된 계산 결과를 얻기 위해서는 데이터 볼륨의 단위를 2의 제곱수로 표현하면 어떻게 되는지 알아야 한다.

데이터의 최소 단위는 1바이트이고, 8비트로 구성된다. ASCII 문자 하나가 차지하는 메모리 크기는 1바이트이다.

2의 x 제곱	근사치	이름	축약형
10	1천	1킬로바이트	1KB
20	1백만	1메가바이트	1MB
30	10억	1기가바이트	1GB
40	1조	1테라바이트	1TB
50	1000조	1페타바이트	1PB

 

모든 프로그래머가 알아야 하는 응답지연 값

구글의 제프 딘은 통상적인 컴퓨터에서 구현된 연산들의 응답지연 값을 공개한 바 있다. 이 중 몇몇 값은 더 빠른 컴퓨터가 등장하며 더 이상 유효하지 않게 되었지만, 이를 통해 컴퓨터 연산들의 처리 속도가 어느 정도인지 짐작할 수 있다.

연산명	시간
L1 캐시 참조	0.5ns
분기 예측 오류	5ns
L2 캐시 참조	7ns
뮤텍스 락/언락	100ns
주 메모리 참조	100ns
Zippy로 1KB 압축	10,000ns = 10μs
1Gbps 네트워크로 2KB 전송	20,000ns = 20μs
메모리에서 1MB 순차적으로 read	250,000ns = 250μs
같은 데이터 센터 내에서의 메시지 왕복 지연시간	500,000ns = 500μs
디스크 탐색(seek)	10,000,000ns = 10ms
네트워크에서 1MB 순차적으로 read	10,000,000ns = 10ms
디스크에서 1MB 순차적으로 read	30,000,000ns = 30ms
한 패킷의 캘리포니아로부터 네덜란드까지의 왕복 지연시간	150,000,000ns = 150ms

ns = nanosecend(나노초), μs = microsecond(마이크로초), ms = millisecond(밀리초)

 

위 표에 제시된 수치들을 분석하여 도출할 수 있는 결론

• 메모리는 빠르지만 디스크는 느리다.
• 디스크 탐색은 가능한 피하자.
• 단순한 압축 알고리즘은 빠르다.
• 데이터를 인터넷으로 전송하기 전에 가능하면 압축하라.
• 데이터 센터는 보통 지역에 분산되어 있고, 센터들 간 데이터를 주고받는데 시간이 걸린다.

 

가용성에 관계된 수치들

고가용성(high availability)

• 시스템이 오랜 시간 동안 지속적으로 중단 없이 운영될 수 있는 능력을 말한다.
• 고가용성은 퍼센트로 표현되고, 100%는 시스템이 단 한 번도 중단된 적이 없음을 의미한다.
• 대부분의 서비스는 99% ~ 100%의 값을 갖는다.

 

서비스 수준 계약(SLA: Service Level Agreement)

• 서비스 사업자가 보편적으로 사용하는 용어로, 서비스 사업자와 고객 사이에 맺어진 합의를 의미한다.
• SLA에는 서비스 사업자가 제공하는 서비스의 가용시간(uptime)이 공식적으로 기술되어 있다.
•  가용시간은 관습적으로 9를 사용하여 표시한다. (9가 많을 수록 좋다고 보면 된다!)

가용률	하루당 장애시간	주당 장애시간	개월당 장애시간	연간 장애시간
99%	14.40분	1.68시간	7.31시간	3.65일
99.9%	1.44분	10.08분	48.83분	8.77시간
99.99%	8.64초	1.01분	4.38분	52.60분
99.999%	864.00밀리초	6.05초	26.30초	5.26분

[9의 개수와 시스템 장애 시간 사이의 관계]

 

예제: 트위터 QPS와 저장소 요구량 추정

가정

• 월간 능동 사용자(MAU: Monthly Active User): 3억명
• 50%사용자가 트위터를 매일 사용
• 평균적으로 각 사용자는 매일 2건의 트윗을 올림
• 미디어를 포함하는 트윗은 10%
• 데이터 보관 기간은 5년

 

추정

• 초당 쿼리 수(QPS: Query Per Second) 추정치
  • 일간 능동 사용자 = 3억 × 50% = 1.5억
  • QPS = 1.5억 × 2트윗 / 24시간 / 3600초 = 약 3500
  • 최대 QPS(Peek QPS) = 2 × QPS = 약 7000
• 미디어 저장을 위한 저장소 요구량
  • 평균 트윗 크기
    • tweet_id: 64byte
    • text: 140byte
    • media 1MB
  • 미디어 저장소 요구량:
    • DAU × 평균 트윗 수 × 미디어를 포함하는 트윗 = 1.5억 × 2 × 10% × 1MB = 30TB/일
  • 5년간 미디어를 보관하기 위한 저장소 요구량: 30TB × 365 × 5 = 약 55PB

 

팁

결과를 내는 것도 중요하지만, 올바른 절차로 결론을 도출했는지가 더 중요하다!

 

• 근사치를 활용한 계산
  • 적절한 근사치를 활용하여 시간을 절약할 수 있다.
  • e.g) 99,987/9.1≈ 100,000/10
• 가정들은 적어두자
• 단위를 붙이는 습관을 들이자
  • 5라고만 적으면 5KB인지 5MB인지 알 수 없다! 
• QPS, 최대 QPS, 저장소 요구량, 캐시 요구량, 서버 수를 추정하는 개략적 규모 추정 문제는 많이 출제되기 때문에, 미리 연습하자!

 

출처: 가상 면접 사례로 배우는 대규모 시스템설계 기초