Surface Web - Część sieci WWW, która jest dostępna za pomocą indeksu wyszukiwania. Część sieci, która nie jest osiągalna w ten sposób nazywa się Deep Web. Wyszukiwarki budują własną bazę przy użyciu robów sieciowych - zaczynają najpierw od znanych im stron internetowych. Potem crawler dostaje kopię każdej strony i przechowuje o niej przydatne informacje, które pozwoli stronie zostać szybko pobrana przez niego ponownie później. Wszelkie hiperłącza do nowych stron są dodawane do listy stron, które mają być przeszukiwane. Ostatecznie wszystkie dostępne strony są indeksowane, chyba że crawlerowi zabraknie miejsca na dysku.
Surface Web - Część sieci WWW, która jest dostępna za pomocą indeksu wyszukiwania. Część sieci, która nie jest osiągalna w ten sposób nazywa się Deep Web. Wyszukiwarki budują własną bazę przy użyciu robów sieciowych - zaczynają najpierw od znanych im stron internetowych. Potem crawler dostaje kopię każdej strony i przechowuje o niej przydatne informacje, które pozwoli stronie zostać szybko pobrana przez niego ponownie później. Wszelkie hiperłącza do nowych stron są dodawane do listy stron, które mają być przeszukiwane. Ostatecznie wszystkie dostępne strony są indeksowane, chyba że crawlerowi zabraknie miejsca na dysku. Z różnych powodów (np. przez Robots Exclusion Protocol, linki generowane przez JavaScript i Flash, ochrona hasłem) niektóre strony nie mogą zostać odnalezione przez crawlera. Te "niewidzialne" strony są określane jako Deep Web Ze stanu 26 stycznia 2013 r. część zindeksowana zawierała przynajmniej 13.52 mld stron