Введение в FHT - Web Wanderers
Веб-роботы (также известные как веб-странники, краулеры или пауки) — это программы, которые автоматически перемещаются по сети. Поисковые системы, такие как Google, используют их для индексации веб-контента, спамеры используют их для сканирования адресов электронной почты, и у них есть много других применений.
Читать ещё