扒一扒搜索引擎是如何工作的？

搜索引擎是信息檢索（IR）系統(tǒng)的通俗叫法。雖然研究和開發(fā)人員看待IR系統(tǒng)的眼光更寬一些，但用戶想到它們更多的是根據(jù)他們期望系統(tǒng)能做的功能 — 即搜索網(wǎng)絡，或者企業(yè)內部網(wǎng)，或者一個數(shù)據(jù)庫。

事實上用戶會更喜歡一個發(fā)現(xiàn)引擎，而不僅僅是一個搜索引擎。

搜索引擎匹配查詢到它們創(chuàng)建的索引上。這個索引包含每個文檔的單詞，和能指向文兒當?shù)刂返闹羔槨＿@被叫做倒排索引文件【 inverted file】。一個搜索引擎或者IR系統(tǒng)包括四個基本的模塊：

一個文檔處理器

一個查詢處理器

一個搜索和匹配功能

一個排名能力

雖然用戶關注的點是“搜索”，但是搜索和匹配功能僅僅是這四個模塊里的其中之一。這四個模塊中的每一個都可能導致用戶在使用搜索引擎時獲得預期或意外的結果。

文檔處理器

文檔處理器準備，處理和輸入用戶搜索的文檔，頁面或站點。文檔處理器執(zhí)行以下部分或全部步驟：

將文檔流規(guī)范化為預定義格式。

將文檔流分解為所需的可檢索單元。

隔離和元標記每個子文檔塊。

標識文檔中潛在的可索引元素。

刪除停用詞。

詞根化檢索詞。

提取索引條目。

計算權重。

創(chuàng)建并更新搜索引擎搜索的主要倒排索引文件，以便將查詢與文檔進行匹配。

第1-3步：預處理。?雖然是必不可少的步驟并且可能對影響搜索結果很重要，但前三個步驟只是簡單地標準化了各種來源或者處理各種網(wǎng)站時遇到的多種文件格式。這些步驟用于將所

搜索引擎

版權聲明：本文內容由網(wǎng)絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內刪除侵權內容。