중복 제거와 콘텐츠 해시

내용의 해시를 키로 삼아 같은 내용이면 바이트를 한 벌만 둡니다.

업로드된 내용의 해시를 계산한다
그 해시가 이미 있으면 바이트를 저장하지 않는다
사용자의 파일 레코드는 그 바이트를 가리키는 참조로 만든다

이것을 콘텐츠 주소 지정이라고 합니다. 파일 이름이나 경로가 아니라 내용이 위치를 정합니다. 이름이 달라도 내용이 같으면 같은 바이트를 씁니다.

흔한 실수: 파일명과 크기로 중복을 판단하는 것. 이름이 같고 내용이 다른 경우와 이름이 다르고 내용이 같은 경우를 둘 다 틀립니다. 판단 기준은 내용이어야 하고, 그래서 해시를 씁니다.

안 됩니다. 여기에 신뢰 경계가 있습니다.

클라이언트 해시를 믿으면 업로드를 건너뛸 수 있어 전송량이 0이 됩니다. 매력적이지만 위험이 따라옵니다.

첫 번째가 실제 취약점입니다. 그래서 해시만으로 접근을 주지 않습니다. 해시는 저장을 줄이는 데 쓰고, 볼 권한은 따로 확인합니다.

업로드를 건너뛰게 해주려면 실제로 가졌음을 증명시킵니다. 파일 크기를 함께 확인하거나 무작위 일부 구간을 보내게 하는 방식입니다.

흔한 실수: 해시가 일치하면 그 파일을 이미 가진 것으로 보는 것. 해시는 공개된 값처럼 다뤄야 합니다. 아는 것과 가진 것은 다릅니다.

바이트를 바로 지우면 남의 파일이 사라집니다. 여러 참조가 같은 바이트를 가리키기 때문입니다.

그래서 참조 카운트를 두고 0이 될 때만 바이트를 지웁니다. 문제는 카운트를 정확히 유지하는 것이 쉽지 않다는 점입니다. 동시에 올리고 지우면 어긋납니다.

두 번째가 훨씬 나쁩니다. 그래서 지우지 않는 쪽으로 기울입니다. 즉시 삭제 대신 유예 기간을 두고, 그 사이 참조가 다시 생기면 취소합니다.

흔한 실수: 두 실패를 같은 무게로 다루는 것. 요금이 새는 것과 남의 데이터가 사라지는 것은 복구 가능성이 다릅니다. 한쪽은 청구서로 드러나고 한쪽은 되돌릴 수 없습니다.

실제 중복률이 낮을 때입니다. 먼저 재보고 결정합니다.

중복 제거는 공짜가 아닙니다. 참조 카운트, 유예 삭제, 카운트 어긋남 복구를 만들어야 하고, 그 코드가 데이터 손실을 낼 수 있는 자리에 놓입니다.

파일 크기 분포도 봅니다. 큰 파일 몇 개가 중복이면 절감이 크고, 작은 파일 수천 개가 중복이면 해시 계산과 조회 비용이 절감을 잠식합니다.

흔한 실수: 저장 비용 절감을 이유로 무조건 도입하는 것. 절감량을 재지 않고 넣으면 복잡도만 늘고 요금은 그대로입니다. 중복률은 샘플로 며칠만 재봐도 나옵니다.