Зміст:
Визначення - Що означає веб-сканер?
Веб-сканер - це Інтернет-бот, який допомагає в індексації веб-сторінок. Вони проскакують по одній сторінці по одному веб-сайту, поки всі сторінки не будуть індексовані. Веб-сканери допомагають збирати інформацію про веб-сайт та пов’язані з ними посилання, а також допомагають у валідації HTML-коду та гіперпосилань.
Веб-сканер також відомий як веб-павук, автоматичний індексатор або просто гусеничний.
Техопедія пояснює веб-сканер
Веб-сканери збирають таку інформацію, як URL-адреса веб-сайту, інформацію метатегів, вміст веб-сторінки, посилання на веб-сторінці та пункти призначення, що ведуть із цих посилань, назву веб-сторінки та будь-яку іншу відповідну інформацію. Вони відслідковують вже завантажені URL-адреси, щоб уникнути завантаження цієї ж сторінки знову. Поєднання таких політик, як політика повторного відвідування, політика вибору, політика паралелізації та політика ввічливості визначає поведінку веб-сканера. Перед веб-сканерами є багато проблем, а саме велика і постійно розвивається всесвітня павутина, компроміси щодо вибору вмісту, соціальні зобов’язання та стосунки з супротивниками.
Веб-сканери є ключовими компонентами веб-пошукових систем і систем, що розглядають веб-сторінки. Вони допомагають в індексації веб-записів і дозволяють користувачам надсилати запити проти індексу, а також надають веб-сторінки, які відповідають запитам. Ще одне використання веб-сканерів - у веб-архівуванні, яке передбачає періодичне збирання та архівування великих наборів веб-сторінок. Веб-сканери також використовуються при обробці даних, де сторінки аналізуються на різні властивості, такі як статистика, а потім на них виконується аналітика даних.
