끝나지 않는 경로

세 가지 상한을 둡니다.

세 번째가 특히 쓸모 있습니다. 주소에서 숫자와 날짜를 빼고 형태만 남겨 세면 같은 형태가 수천 개 나오는 것이 함정의 신호입니다.

달력의 다음 달 링크나 필터 조합 페이지가 대표적입니다.

흔한 실수: 깊이 상한만 두는 것. 달력은 깊이가 아니라 옆으로 무한히 뻗습니다. 상한의 종류를 나눠 두지 않으면 한 종류의 함정만 막습니다.

내용과 링크의 비율로 찾습니다.

본문 길이가 아주 짧다
그런데 링크가 아주 많다
그 링크들이 같은 형태다

세 조건이 함께 나타나면 그 경로의 우선순위를 크게 낮춥니다.

막는 것이 아니라 뒤로 미루는 것이 안전합니다. 진짜 목록 페이지도 이 모양을 갖기 때문입니다. 뒤로 미루면 예산이 남을 때만 보게 되므로 손실이 작습니다.

흔한 실수: 판정 후 완전히 차단하는 것. 이 판정은 확실하지 않고, 잘못 차단하면 그 사이트의 정상 내용까지 영구히 못 봅니다. 확실하지 않은 판정에는 되돌릴 수 있는 대응을 붙입니다.

호스트마다 상한을 다르게 둡니다.

상한은 값싸고 확실하지만 아주 큰 사전 사이트나 자료 저장소의 깊은 내용도 함께 자릅니다.

과거에 좋은 내용을 많이 낸 호스트는 상한을 높인다
새 호스트는 낮게 시작한다

신뢰를 쌓은 곳에 더 많은 예산을 주는 구조입니다. 우선순위 신호와 같은 자료를 쓰므로 따로 관리할 것이 늘지 않습니다.

흔한 실수: 전역 상한 하나로 운영하는 것. 그 값을 큰 사이트에 맞추면 함정을 막지 못하고, 함정에 맞추면 큰 사이트의 대부분을 못 봅니다. 하나의 값으로 두 요구를 만족시킬 수 없습니다.

길이에 상한을 두고 지나온 주소를 기억합니다.

마지막이 예산을 아낍니다. 매번 사슬을 따라가면 한 페이지에 여러 번의 가져오기를 쓰게 됩니다.

흔한 실수: 사슬의 중간 주소들을 목록에 넣는 것. 그 주소들은 내용이 없고 다른 곳으로 보낼 뿐인데 목록을 몇 배로 부풀립니다. 최종 주소만 남기고 중간은 대응 관계로만 기록합니다.