Robot internetowy to program, który automatycznie przechodzi przez internet, pobierając strony i śledząc łącza ze strony do strony. Ogólnym celem robota internetowego jest pobranie dowolnej strony internetowej, do którą można uzyskać dostęp za pośrednictwem linków. Proces ten nazywany jest indeksowania w internecie lub spidering. Wiele witryn, w szczególności wyszukiwarek, wykorzystuje pająki jako sposób dostarczania aktualnych danych. Roboty indeksujące sieci Web są używane głównie do tworzenia kopii wszystkich odwiedzonych stron do późniejszego przetwarzania przez wyszukiwarkę, która indeksuje pobrane strony w celu zapewnienia szybkich wyszukiwań. Robotów można również używać do automatyzacji zadań konserwacji w witrynie sieci Web, takich jak sprawdzanie łączy lub sprawdzanie poprawności kodu HTML. Ponadto roboty mogą być używane do zbierania określonych typów informacji ze stron sieci Web, takich jak zbieranie adresów e-mail (zwykle w przypadku spamu). Robot internetowy jest jednym z typów botów lub agenta oprogramowania. Ogólnie rzecz biorąc, zaczyna się od listy adresów URL do odwiedzenia, zwanych nasionami. Gdy robot odwiedza te adresy URL, identyfikuje wszystkie hiperłącza na stronie i dodaje je do listy adresów URL do odwiedzenia, zwanych granicami indeksowania. Adresy URL od granicy są odwiedzane rekurencyjnie zgodnie z zestawem zasad.
historia wersji
- Wersja 3.19 opublikowany na 2012-01-15
pierwsze publiczne wydanie
Szczegóły programu
- Kategorii: Narzędzia systemowe > Narzędzia automatyzacji
- Wydawca: VietSpider
- Licencji: Wolna
- Cena: N/A
- Wersja: 3.19
- Platformy: windows