예의가 처리량을 정한다

호스트별로 큐를 만들고 한 큐는 한 일꾼만 봅니다.

주소를 한 줄에 섞으면 같은 호스트가 연달아 나오고, 일꾼들이 같은 호스트를 동시에 두드립니다. 그것을 막으려면 "이 호스트를 마지막으로 언제 봤나" 를 모든 일꾼이 공유해야 합니다.

호스트 큐를 일꾼에게 배정한다
일꾼은 자기 큐에서 하나 가져와 처리하고 기다린다

규칙 확인이 지역 문제가 되는 것이 이 구조의 값입니다. 일꾼 사이에 공유할 상태가 없어집니다.

흔한 실수: 공유 저장소에 마지막 방문 시각을 두고 매번 확인하는 것. 동작하지만 모든 가져오기에 왕복이 붙고 그 저장소가 병목이 됩니다. 큐를 나누면 그 왕복이 사라집니다.

동시에 살아 있는 큐 수가 곧 초당 페이지 수입니다.

일꾼 하나가 한 호스트에서 초당 한 페이지를 가져오기 때문입니다.

큐가 부족하면 일꾼이 놀고 예산이 남습니다. 그래서 주소 목록이 여러 호스트에 고르게 퍼져 있어야 합니다.

흔한 실수: 처리량이 부족할 때 일꾼을 늘리는 것. 큐가 386개인데 일꾼을 1,000개로 늘려도 초당 386이 상한입니다. 늘려야 하는 것은 다루는 호스트 수입니다.

호스트별 목록 길이에 상한을 두고 새 호스트 발견을 우선합니다.

주소는 대형 사이트에서 압도적으로 많이 나옵니다. 그대로 두면 목록이 소수 호스트로 채워지고 큐 수가 줄어 처리량이 떨어집니다.

대형 사이트를 다 가져오려는 것과 예산을 채우는 것이 충돌합니다.

흔한 실수: 상한을 두지 않고 목록이 커지는 것만 관리하는 것. 목록 크기를 견뎌도 한 호스트에 몰린 목록은 처리량으로 바뀌지 않습니다. 얼마나 들고 있는지와 얼마나 쓸 수 있는지는 다릅니다.

기본값을 두고 상대의 신호에 반응합니다.

초당 한 번은 기본값이고, 상황에 따라 조절해야 합니다.

상대가 알려 준 간격이 있으면 그것을 따른다
응답이 느려지거나 거절이 오면 간격을 늘린다

상대의 신호에 반응하는 것이 숫자를 지키는 것보다 중요합니다. 상대가 힘들어하는데 규칙만 지키고 계속 두드리면 결국 차단됩니다.

반대로 큰 사이트는 더 자주 받아도 괜찮은 경우가 있습니다. 그때는 간격을 줄여 예산을 효율적으로 씁니다.

흔한 실수: 간격을 고정값으로 두는 것. 사이트마다 감당하는 양이 크게 다릅니다. 그리고 응답이 느려지는 것은 상대가 힘들다는 신호인데, 고정 간격은 그 신호를 무시합니다.