當搜尋引擎的在通常的情況下，訪問您的網站，並察看您網頁內容原始碼的這一過程，被稱為“爬行 - crawling 或 spidering“。搜尋引擎會將您的網頁壓縮然後放入它們的資料庫中，這一個過程被稱為”索引 - index“。最後，當有人向搜尋引擎查詢有關您網頁資訊的時候，您的網頁就會跟其他相關的網頁一起被找出來，而搜尋引擎則會根據網站內容相關程度來排列，這個過程就是這就是所謂的”排名 - ranking“。

爬行式搜尋引擎通常會考慮比網頁以外更多的因素來決定索引的結果。這些因素包括了，有多少其他網頁的索引連結到你的網頁，其他連結中的文字連結到你的網頁，其他網頁的PageRank是多少，您的網頁是否存在在相關的人工目錄之下等等，這些“非網頁(Off-Page)優化“的因素，乃是爬行式搜尋引擎評定這個網頁好壞的一重要的考量。雖然從理論上來說，你可以以調整HTML碼來增加您的網頁關鍵字的相關性，以便增進網頁優化(On-Page)的目的，但是您卻沒辦法來操縱別的網站的如何來連結到你的網站。這也是爬行式搜尋引擎如此看重非網頁(Off-Page)優化的原因了。

在這一堂課中，我們將專注在以蜘蛛為主的爬行式搜尋引擎，並學習如何讓我們的網站被它們來索引，以及如何來增進我們網站的排名。這一章節的資料，將會說明每個搜尋引擎是如何來運作的，與您的的網頁有何種關係，這是一篇非常好的參考章節。