在搜索引擎優(yōu)化中想要獲得網站排名基礎的展示就的網站收錄，這里就涉及到了網站頁面內容的可抓取性和頁面的可索引性。這兩個概念大家想必乍看之下都有一定的了解，但是如果要具體來說明一下，估計是有點困難的。因此下面的內容我們就從搜索引擎的基礎知識入手，和大家一起去了解下到底什么是搜索引擎的抓取性和可索引性。

    我們都是知道百度的是一個比較神奇的存在但是當我們仔細觀察時，會發(fā)現由于搜尋和建立索引，網站出現在搜索結果中。這就意味著要使我們的網站出現在搜索結果中，它必須是可爬網的并且可以建立索引。搜索引擎擁有這些我們稱為爬蟲的機器人。他們基本上是在互聯網上找到網站，抓取其內容，跟蹤該網站上的任何鏈接，然后為他們抓取的網站創(chuàng)建索引。

    索引是一個龐大的URL數據庫，像百度這樣的搜索引擎通過其算法對其進行排名。當我們搜索某些內容并加載結果頁面時，我們會看到爬網和索引的結果。這是搜索引擎抓取的所有網站并基于一系列不同的因素將其視為與我們的搜索相關的網站。我們可能不會談及百度和其他搜索引擎用來確定與搜索相關的內容的算法，但是我們可以訪問我們的網站以了解更多信息。

    那么回到最基本的概念到底什么是可爬網性和可索引性呢？

    可抓取性意味著搜索引擎抓取工具可以閱讀和跟蹤我們網站內容中的鏈接，我們可以將它們像蜘蛛一樣跟隨網絡上的大量鏈接。

    可索引性意味著我們允許搜索引擎在搜索結果中顯示我們網站的頁面。

    如果我們的網站可抓取并可以建立索引，那就太好了。如果不是這樣，我們可能會失去來自百度搜索結果的大量潛在流量，而這種流量的損失會轉化為潛在客戶的損失和業(yè)務收入的損失。但是，我們如何知道我們的網站是否已建立索引呢？其實也是很簡單的。只要轉到百度或其他搜索引擎，然后輸入站，再輸入我們站點的地址即可。這時候我們應該就可以看到我們的站點上已被索引的頁面數的結果了。不過如果我們什么都看不到，也不要太過擔心，筆者接下來會告訴大家如何解決這個問題。

    接下來的問題，如何使我們的網站頁面爬行并建立索引呢？

    1、內部鏈接

    我們想讓搜索引擎的搜尋器進入我們網站上的每個頁面，然后確保我們網站上的每個頁面都有指向該頁面的鏈接。以站點為例，我們可以輕松地瀏覽其導航中的鏈接以逐頁獲取。如果我們點擊建站，則可以看到更多鏈接到不同類型的建站案例，然后在該菜單中看到更多類型的站點的鏈接。有指向每個頁面的鏈接，爬網程序將跟隨這些鏈接。如果我們沒有太多內部鏈接，則HTML網站地圖可以為抓取工具提供鏈接，便以我們在網站上進行跟蹤。HTML網站地圖適用于人員和搜索引擎，它們列出了指向我們網站上每個頁面的鏈接。通常，我們可以在網站的頁腳中找到站點地圖的入口。而最佳做法是在我們網站的所有相關內容以及導航選項卡中都包含指向每個頁面的鏈接。

    2、反向鏈接

    同樣的鏈接對我們的站點很重要。但是，反向鏈接比內部鏈接更難獲得，因為它們來自我們企業(yè)之外的用戶。當另一個站點包含指向我們的頁面之一的鏈接時，我們的站點將獲得反向鏈接。因此，當抓取工具訪問該外部網站時，只要允許他們跟蹤該外部網站，它們就會通過該鏈接訪問我們的網站。如果我們在內容中鏈接到其他網站，也會發(fā)生同樣的情況。

    3、XML網站地圖

    我們最好將網站的XML網站地圖提交給百度等搜索引擎。XML站點地圖應包含我們所有的頁面URL，以便爬網程序知道我們希望它們進行爬網的內容。它們與HTML網站地圖不同，因為它們僅適用于爬蟲。我們可以自己創(chuàng)建XML網站地圖，使用XML網站地圖工具或者如果它與我們網站的CMS兼容，甚至可以使用插件。但不要在站點地圖中包含我們不想爬網和編制索引的鏈接。

    4、Robots.txt

    關于Robots.txt就有點技術性了。robots.txt文件是我們網站后端上的文件，可告訴抓取工具他們無法抓取哪些內容并在我們的網站上建立索引。如果我們熟悉robots.txt，就要確保我們不會意外阻止抓取工具執(zhí)行其工作。如果我們要阻止某個搜索引擎的搜尋器，如：（禁止百度爬蟲訪問）“User-agent: Baiduspider  Disallow: /”。如果我們不確定如何確定問題或對robots.txt文件進行更改，可以與找專門的優(yōu)化人員幫我們制作，這樣可以避免破壞我們的網站。