AJOU Central Library Repository: 연관도 계산과 기계학습을 이용한 주제 기반 웹 수집기

연관도 계산과 기계학습을 이용한 주제 기반 웹 수집기

Alternative Title: Topic Specific Web Crawler Using Degree of Relevance and Machine Learning

Abstract: 인터넷을 사용하는 사람들에게 그들의 관심사와 부합하는 웹 페이지를 제공하는 것은 필수 불가결 하다. 이러한 관점에서 본 논문은 각 웹 페이지의 주제와 연관된 정도 (degree of relevance)를 계산하며, 단어빈도/문서빈도 (term frequency/document frequency), 엔트로피 (entropy) 및 컴파일된 규칙을 이용하여 수집된 웹 페이지를 정제하는 주제 기반 웹 수집기 (topic-specific Web crawler)를 제안한다. 실험을 통하여 주제 기반 웹 수집기에 대한 분류의 정확성, 수집의 효율성 및 수집의 일관성을 평가하였다. 77개의 대표적인 단어를 사용하여 실험한 경우, 수집된 결과가 주어진 주제와 부합하는 분류 정확성은 평균 90.2% 로 측정되었다.

Alternative Abstract: It is indispensable that the users surfing on the Internet could have web pages classified into a given topic as correct as possible. Toward this ends, this paper presents a topic-specific crawler computing the degree of relevance and refining the preliminary set of related web pages using term frequency/document frequency, entropy, and compiled rules. In the experiments, we test our topic-specific crawler in terms of the accuracy of its classification, the crawling efficiency, and the crawling consistency. In case of using 77 representative terms, it turned out that the resulting accuracy of the classification was, on the average, 90.2%.

Appears in Collections:: Special Graduate Schools > Graduate School of Information and Communication Technology > Department of Information and Communication > 3. Theses(Master)

qrcode

STATISTICS: Total Visit :3,730,943; Total Download :1,818; Today View :8,601

AJOU Central Library Repository는 국립중앙도서관 OAK 보급사업으로 구축되었습니다.