Зміст:
Визначення - Що означає Павук?
У контексті Інтернету павук - це спеціалізоване програмне забезпечення, розроблене для систематичного сканування та перегляду всесвітньої павутини, як правило, з метою індексації веб-сторінок з метою надання їм результатів пошуку для пошукових запитів користувачів. Найвідомішим з таких павуків є Googlebot, головний гусеничний веб-сайт Google, який допомагає забезпечити повернення відповідних результатів для пошукових запитів.
Павуки також відомі як веб-сканери, пошукові боти або просто боти.
Техопедія пояснює Павука
Павук - це по суті програма, яка використовується для збирання інформації з всесвітньої павутини. Він проходить через сторінки веб-сайтів, витягуючи інформацію та індексуючи її для подальшого використання, як правило, для результатів пошуку. Павук відвідує веб-сайти та їх сторінки через різні посилання на та зі сторінок, тому сторінку без жодного посилання на неї буде важко проіндексувати і може бути класифікована дуже низько на сторінці результатів пошуку. І якщо існує багато посилань, що вказують на сторінку, це означає, що сторінка популярна, і вона відображатиметься вище в результатах пошуку.
Етапи сканування веб-сторінок:
- Павук знаходить сайт і починає сканувати його сторінки.
- Павук індексує слова та вміст сайту.
- Павук відвідує посилання, знайдені на сайті.
Павуки або веб-скаулери - це просто програми, і, як такі, вони дотримуються систематичних правил, встановлених програмістами. Власники веб-сайтів також можуть зайнятися цим, сказавши павуку, які частини сайту індексувати, а які не слід. Це робиться шляхом створення файлу "robots.txt", який містить вказівки для павука щодо того, які ділянки для індексації та посилання слідкувати та які саме слід ігнорувати. Найбільш значимими павуками є ті, хто належить до основних пошукових систем, таких як Google, Bing та Yahoo, і ті, які призначені для видобутку даних та досліджень, але також є деякі шкідливі павуки, написані для пошуку та збору електронних листів, які користувач може продати компаніям або знайти вразливості у веб-безпеці.
