모두가 같은 링을 보게 하기

목록을 한 곳에 두고 각자 지켜보게 하고, 세대 번호를 붙입니다.

서버 100대 규모에서는 목록이 작고 변경이 주당 3~4번 정도라 중앙 저장소 하나로 충분합니다. 그곳이 잠깐 죽어도 각자 마지막 목록으로 계속 동작하므로 조회는 멈추지 않습니다.

목록이 바뀔 때마다 세대 번호를 키운다
요청에 세대 번호를 실어 보낸다
서버가 자기가 아는 번호와 다른 것을 알아챈다

번호가 없으면 어긋남이 미스 증가로만 나타나 원인을 짚기 어렵습니다.

흔한 실수: 완전히 같은 링을 항상 보장하겠다고 답하는 것. 전파에는 시간이 걸리므로 어긋나는 순간은 반드시 있습니다. 그 순간에 무엇이 잘못되는지 말하고, 캐시라서 견딜 수 있다는 근거를 대는 편이 정확합니다.

같은 키가 다른 서버로 갑니다. 결과는 무엇을 담고 있느냐에 따라 다릅니다.

캐시에서는 견딜 수 있습니다. 잠깐 미스가 늘고 값이 중복되는 것이 전부이며, 어긋남이 끝나면 낡은 쪽은 만료로 사라집니다.

저장소라면 쓰기가 두 곳에 나뉘어 어느 쪽이 최신인지 판단할 근거가 없어집니다. 그때는 어긋난 동안 쓰기를 막거나 두 곳을 모두 확인해야 합니다.

흔한 실수: 캐시와 저장소를 같은 무게로 말하는 것. 잃어도 되는지가 전파 지연을 견딜 수 있는지를 정합니다. 같은 기법을 쓰더라도 이 판단이 다릅니다.

한 곳에서 판단하고, 여유를 둡니다.

여러 곳이 각자 판단하면 클라이언트마다 다른 링을 보게 됩니다. 그리고 넣었다 뺐다를 반복하는 것이 가장 나쁩니다. 그 서버 구간의 키가 매번 이동하므로 미스가 계속 발생합니다.

흔한 실수: 감지를 빠르게 만드는 데만 집중하는 것. 빠른 감지는 잘못된 감지를 늘리고, 잘못된 제거는 미스 폭풍을 만듭니다. 캐시에서는 조금 늦게 빼는 것이 잘못 빼는 것보다 낫습니다.

지점 수를 조금씩 늘리며 넣습니다.

지점 150개로 한 번에 넣으면 그 몫의 키가 즉시 미스가 되고, 그 미스가 한꺼번에 원본으로 갑니다.

처음에 15개 지점으로 넣는다
값이 채워지는 것을 보며 150개까지 올린다

미스가 시간에 걸쳐 흩어지므로 원본 부하가 한 번에 튀지 않습니다. 이동량 자체는 같지만 같은 양을 어떤 속도로 겪는지가 달라집니다.

흔한 실수: 새 서버를 미리 채워 두고 넣겠다고 답하는 것. 무엇을 채울지는 그 서버의 담당이 정해진 뒤에야 알 수 있고, 담당은 링에 넣는 순간 정해집니다. 순서가 거꾸로입니다. 지점 수를 조금씩 늘리는 방법이 같은 효과를 순서대로 냅니다.