1. Wiedza
  2. Pojęcia
  3. Topic clustering w IR

Artykuł pomocniczy · pojęcie · Pojęcia · Pozostałe

Topic clustering w IR

także: document clustering · topic modeling · query clustering · klastrowanie tematyczne · Topic Clustering w Information Retrieval

Technika grupowania dokumentów lub zapytań według tematów, wykorzystywana w systemach wyszukiwania do poprawy retrieval i organizacji wyników.

Ule wokół centralnego z rubinowym wejściem – metafora topic clustering w information retrieval.

Definicja

Topic clustering to proces organizowania dokumentów lub tekstów w grupy tematycznie spójne na podstawie semantycznego podobieństwa.

Rozszerzona definicja

Celem jest automatyczne wykrywanie grup semantycznie powiązanych dokumentów oraz przypisanie im znaczącej etykiety opisującej zawartość każdego klastra1.

Jak to działa

W podejściu opartym na zapytaniach stosuje się dwie klasy technik: grupowanie współwystępowania słów (word co-occurrence clustering), które generuje tematy ze słów często pojawiających się razem, oraz ważony bigraph clustering, który wykorzystuje adresy URL z wyników wyszukiwania do wyznaczania podobieństwa między zapytaniami i generowania tematów2.

W podejściu opartym na dokumentach proces przebiega wieloetapowo: najpierw generowane są klastry podobnych obiektów przy użyciu algorytmów k-means, DBSCAN lub Spectral, tak aby zminimalizować liczbę wspólnych terminów między klastrami; następnie na każdym klastrze uruchamiane są algorytmy frequent i high-utility pattern mining w celu ekstrakcji wzorców; na końcu klastry są rankingowane dla każdego zapytania3. Stosuje się również hierarchiczne metody aglomeracyjne, takie jak single linkage, complete linkage, group average i Ward, w kontekście wyszukiwania dokumentów4.

Dlaczego to ważne

Wyszukiwarka internetowa często zwraca tysiące stron w odpowiedzi na szerokie zapytanie, co utrudnia użytkownikom przeglądanie i identyfikację istotnych informacji; metody klastrowania pozwalają automatycznie grupować pobrane dokumenty w listę znaczących kategorii5. Klastrowanie dokumentów ma zastosowanie w automatycznej organizacji dokumentów, ekstrakcji tematów oraz szybkim wyszukiwaniu lub filtrowaniu informacji6.

Podejście klastrowe w IR jest szybsze w przetwarzaniu dużych zbiorów dokumentów w porównaniu z tradycyjnymi metodami7, a wyniki badań wskazują, że podejście łączące klastrowanie z eksploracją wzorców przewyższyło tradycyjne i klastrowe metody IR pod względem jakości zwracanych obiektów, przy jednocześnie bardzo konkurencyjnym czasie działania8.

Przykłady

  • Bigraph clustering z użyciem adresów URL z wyników Google służy do wyznaczania podobieństwa zapytań i generowania tematów w zbiorze zapytań wyszukiwarki2.
  • Algorytm DBSCAN (Density-based spatial clustering of applications with noise) jest jednym z trzech algorytmów zaproponowanych do minimalizacji liczby wspólnych terminów między klastrami dokumentów3.
  • Hierarchiczne metody aglomeracyjne — single linkage, complete linkage, group average i Ward — były rozważane w kontekście wyszukiwania dokumentów4.
  • Podejście łączące klastrowanie z frequent itemset mining, opisane jako ICIR (Intelligent Cluster-based Information Retrieval), zostało przedstawione jako pierwsze badanie łączące kilka technik eksploracji danych w celu rozwiązania problemu wyszukiwania dokumentów9.
  • Klastrowanie dokumentów jest stosowane w wyszukiwarkach i systemach rekomendacji do efektywnego znajdowania dokumentów o podobnych tematach10.

Częste błędy i mity

  • Ograniczenie: samo przypisanie dokumentów do klastrów nie wystarcza — opisowe klastrowanie dokumentów wymaga dodatkowo przypisania znaczącej etykiety charakteryzującej zawartość każdego klastra1.

Powiązane hasła

Źródła i odwołania

  1. Distributed Document and Phrase Co-embeddings for Descriptive Clustering - ACL Anthology

    aclanthology.org ·

    Descriptive document clustering aims to automatically discover groups of semantically related documents and to assign a meaningful label to characterise the content of each cluster.

  2. Improving topic clustering on search queries with word co-occurrence and bipartite graph co-clustering

    research.google ·

    We present two novel techniques that can discover semantically meaningful topics in search queries: i) word co-occurrence clustering generates topics from words frequently occurring together; ii) weighted bigraph clustering uses URLs from Google search results to induce query similarity and generate topics.

  3. Cluster-based information retrieval using pattern mining

    link.springer.com ·

    First, it generates clusters of objects that contain similar objects. Three clustering algorithms based on k-means, DBSCAN (Density-based spatial clustering of applications with noise), and Spectral are suggested to minimize the number of shared terms among the clusters of objects. Second, frequent and high-utility pattern mining algorithms are performed on each cluster to extract the pattern bases. Third, the clusters of objects are ranked for every query.

  4. (PDF) Document Clustering for Information Retrieval – A General ...

    researchgate.net ·

    By comparing the result of original and proposed method, it was found that the results obtained from proposed method are more accurate. ... This paper considers the use of the single linkage, complete linkage, group average and Ward hierarchic agglomerative clustering methods for document retrieval.

  5. Document clustering - Wikipedia

    en.wikipedia.org ·

    A web search engine often returns thousands of pages in response to a broad query, making it difficult for users to browse or to identify relevant information. Clustering methods can be used to automatically group the retrieved documents into a list of meaningful categories.

  6. Document clustering - Wikipedia

    en.wikipedia.org ·

    Document clustering (or text clustering) is the application of cluster analysis to textual documents. It has applications in automatic document organization, topic extraction and fast information retrieval or filtering. Document clustering involves the use of descriptors and descriptor extraction.

  7. [2008.00150] Cluster-Based Information Retrieval by using (K-means)- ...

    arxiv.org ·

    Abstract:Cluster-based information retrieval is one of the Information retrieval(IR) tools that organize, extract features and categorize the web documents according to their similarity. Unlike traditional approaches, cluster-based IR is fast in processing large datasets of document.

  8. Cluster-based information retrieval using pattern mining

    link.springer.com ·

    The results showed that the designed approach outperformed traditional and cluster-based information retrieval approaches in terms of the quality of the returned objects while being very competitive in terms of runtime.

  9. Fast and effective cluster-based information retrieval using frequent ...

    sciencedirect.com ·

    To address this drawback of cluster-based approaches, and improve the performance of information retrieval both in terms of runtime and quality of retrieved documents, this paper proposes a new cluster-based information retrieval approach named ICIR (Intelligent Cluster-based Information Retrieval), which combines both clustering and frequent itemset mining. To the best of our knowledge, this is the first study that combines several data mining techniques for solving the well-known document info

  10. Clustering and Information Retrieval | Request PDF

    researchgate.net ·

    To the best of our knowledge, this is the first extensive study of such a property for external cluster validity indices. ... ... Search engines and recommender systems help people to reduce the information overload by finding relevant information on their search topic. Clustering of documents is one of the techniques used in search engines and in recommender systems for efficiently finding documents that have similar topics [1], for improving the performance of information retrieval systems

Każde zdanie powyżej odsyła do dosłownego cytatu ze źródła. Daty to daty publikacji lub pobrania źródła.

Źródła faktów

  • SEO/references/seo/REFS-SEO-R1-Topical-Authority-Ranking.md