Vsebina
- Opredelitev - Kaj pomeni Spider?
- Uvod v Microsoft Azure in Microsoft Cloud | V tem priročniku boste spoznali, kaj sploh pomeni računalništvo v oblaku in kako vam lahko Microsoft Azure pomaga preseliti in voditi vaše podjetje iz oblaka.
- Techopedia razlaga Spider
Opredelitev - Kaj pomeni Spider?
Na spletu je pajek specializirana programska oprema, ki je namenjena sistematičnemu iskanju in brskanju po svetovnem spletu, običajno za indeksiranje spletnih strani, da bi jih zagotovili kot rezultate iskanja za iskalne poizvedbe uporabnikov. Najbolj znan izmed takih pajkov je glavni pajek Googlebot, Googles, ki pomaga zagotoviti, da se za iskalne poizvedbe vrnejo ustrezni rezultati.
Pajki so znani tudi kot spletni pajki, iskalni roboti ali preprosto boti.
Uvod v Microsoft Azure in Microsoft Cloud | V tem priročniku boste spoznali, kaj sploh pomeni računalništvo v oblaku in kako vam lahko Microsoft Azure pomaga preseliti in voditi vaše podjetje iz oblaka.
Techopedia razlaga Spider
Pajek je v bistvu program, ki se uporablja za pridobivanje informacij s svetovnega spleta. Brska po straneh spletnih mest, ki pridobivajo informacije in jih indeksirajo za poznejšo uporabo, običajno za rezultate iskalnikov. Pajek obišče spletna mesta in njihove strani prek različnih povezav do in s strani, zato bo stran brez ene same povezave težko indeksirati in je na strani z rezultati iskanja morda uvrščena res nizko. In če obstaja veliko povezav, ki kažejo na stran, bi to pomenilo, da je stran priljubljena in bo na rezultatih iskanja videti višje.
Koraki pri pajenju po spletu:
- Pajek najde spletno mesto in začne plaziti po svojih straneh.
- Pajek indeksira besede in vsebino spletnega mesta.
- Pajek obišče povezave, najdene na spletnem mestu.
Pajki ali webcrawlers so le programi in kot takšni upoštevajo sistematična pravila, ki jih postavijo programerji. Lastniki spletnih mest se lahko vključijo v to, tako da pajku povedo, katere dele spletnega mesta indeksira in katere ne. To naredijo tako, da ustvarijo datoteko "robots.txt", ki vsebuje navodila za pajka o tem, katere dele je treba indeksirati in povezave slediti ter katere bi moral prezreti. Najpomembnejši pajki so tisti, ki so v lasti večjih iskalnikov, kot so Google, Bing in Yahoo, in tisti, ki so namenjeni rudarjenju podatkov in raziskavam, obstaja pa tudi nekaj zlonamernih pajkov, ki jih uporabnik išče in zbira, da jih uporabnik proda na oglas. podjetja ali najti ranljivosti v spletni varnosti.