문서가 가진 정보량이란
검색엔진은 단순히 키워드 매칭만으로 문서의 가치를 판단하지 않습니다. 문서가 실제로 얼마나 유용한 정보를 담고 있는지를 측정하는 것이 핵심입니다. 이것이 바로 “정보량 측정(Information Measurement)”입니다.
정보 이론의 관점에서, 모든 텍스트가 동일한 가치를 지니는 것은 아닙니다. “오늘 날씨가 좋습니다”라는 문장과 “서울 강남구 2026년 1월 평균 기온은 영하 2도입니다”라는 문장은 동일한 주제를 다루더라도 정보량에서 큰 차이가 있습니다.
Named Entity 분류와 정보 추출
문서 내 정보량을 측정하는 핵심 기술 중 하나가 Named Entity Recognition(NER)입니다. NER은 텍스트에서 중요한 개체명을 자동으로 식별하고 분류합니다:
핵심 Named Entity 유형
- 가격 정보: 제품 가격, 서비스 비용, 입장료 등 구체적인 금액 정보
- 고유 명칭: 호텔 이름, 레스토랑명, 브랜드명 등 특정 대상을 지칭하는 이름
- 시간/연도 정보: 날짜, 기간, 운영 시간, 시즌 정보
- 위치 정보: 주소, 지역명, 좌표, 교통편
- 수치 데이터: 통계, 비율, 수량 등 구체적인 숫자
정보가 없으면 스팸으로 판단
여기서 중요한 원칙이 있습니다. 검색엔진은 위와 같은 구체적인 정보(가격, 이름, 연도 등)가 문서에 포함되어 있는지를 분석하며, 이러한 실질 정보가 부족한 문서는 스팸 또는 저품질 콘텐츠로 판단할 수 있습니다.
예를 들어, “좋은 호텔 추천”이라는 주제의 글이 있을 때:
- 정보량이 높은 문서: 호텔 이름, 위치, 1박 가격, 체크인/체크아웃 시간, 주변 교통편, 객실 종류별 가격 등 구체적 데이터 포함
- 정보량이 낮은 문서: “이 호텔은 정말 좋았습니다. 서비스도 훌륭했고 음식도 맛있었습니다” 같은 추상적 서술만 존재
정보량 측정의 기술적 구현
검색엔진이 정보량을 측정하는 구체적인 방법은 다음과 같습니다:
- 엔트로피 분석: 정보 이론의 엔트로피 개념을 적용하여 텍스트의 예측 불가능성(정보량)을 수치화합니다.
- NER 밀도 계산: 전체 텍스트 대비 Named Entity의 비율을 산출합니다.
- 정보 유형 다양성: 가격, 위치, 시간 등 다양한 유형의 정보가 균형 있게 포함되어 있는지 평가합니다.
- 문서 내 중요 단어 추출: TF-IDF, TextRank 등의 알고리즘으로 문서의 핵심 키워드를 추출하고 해당 키워드의 정보 가치를 평가합니다.
검색 품질 평가와 정보량의 관계
검색 결과의 품질 평가 시 정보량은 매우 중요한 기준입니다. 검색 평가 기준을 보면:
- 5점(완벽): 해당 URL 하나로 사용자의 검색 의도가 완전히 충족되는 경우
- 4점(매우 좋음): 원하는 정보를 거의 다 얻을 수 있는 경우
- 3점(보통): 다른 문서도 함께 봐야 하는 경우
- 2점(미흡): 안 봐도 상관없는 수준
- 1점(부적절): 검색 의도와 맞지 않는 경우
정보가 풍부한 문서일수록 높은 평가를 받습니다. 콘텐츠를 제작할 때는 추상적인 설명보다 구체적인 데이터와 실질적인 정보를 포함하는 것이 검색 노출에 유리합니다.