Wat ass eng CRAWLER? CRAWLER Outil "Yandex" a Google

All Dag op den Internet do ass eng grouss Quantitéit vun neie Materialien enger Websäit aktualiséiert déi al Web Säiten ze schafen, lued Fotoen a Videoen. Ouni aus Sich Motore verstoppt konnt net am World Wide Web, Keen vun dësen Dokumenter fonnt ginn. Alternativen wéi Roboter Programmer zu all entscheet Zäit gëtt et net. Wat ass eng Sich Roboter, firwat Dir braucht et a wéi ze bedreiwen?

Wat ass e Roboter Sich

CRAWLER Site (Sich-Moteur) - et ass eng automatesch Programm datt gebass ass den Millioune Web Säiten ze fueren, séier Navigatioun duerch den Internet ouni Bedreiwer Interventioun. Bot sinn konstant Scanner Plaz vun der Wide Web Welt nei Web Säiten ze fannen a regelméisseg schonn indexéiert fueren. Aner Nimm fir Web ob spiders, ob Bot.

Firwat sinn spiders Sich-Moteur

D'Haaptrei Funktiounen dass Sich-Moteur spiders Leeschtunge - Web Säiten indexéiert goufen, souwéi Text, Biller, Audio a Video Fichieren déi op se sinn. Botten kucken Referenze, Spigel Siten (Exemplairen) an Aktualiséierungen. D'Roboteren och HTML-Code Kontroll fir Konformitéit Standarden vun der World Organisatioun, déi entwéckelt Leeschtunge a setzen technologesch Standarden fir den World Wide Web.

Wat ass chen, hiert, a firwat ass et waren

Chen, hiert - ass, an Tatsaach, ass de Prozess vun engem bestëmmte Web Säit vun Sich Motore besicht. Programm scannt den Text op dësem Site, Biller, Videoen, outbound Linken, dann schéngt der Säit vun der Sich Resultater. An e puer Fäll, kann de Site net automatesch gescannt gin, da kann et op der Sich Moteur Webmaster manuell dobäi ginn. Typesch, existeiert dëst am Verontreiung vun externen Linken op eng bestëmmte (oft nëmmen kuerzem hunn) Säit.

Wéi maachen Moteur spiders Sich

All Sich-Moteur huet seng eege Bot mat de Roboter Google Sich variéieren kënnen vill no de Mechanismus Wierker op engem ähnleche Programm, "Yandex" oder aner Systemer.

Am Allgemengen, engem Roboter schaffen Prinzip ass wéi follegt: de Programm "kënnt" um Site an extern Linken aus der Haaptrei Säit, "liest" Web Ressource (inklusiv deenen sicht fléien, datt net de Benotzer net gesinn). Boot ass wéi tëscht Säiten vun engem Site ze navigéiert a fir anerer plënneren op.

De Programm wäert decidéieren wat Site ze Index? Méi oft ewéi net mat news Siten oder gréisser Ressource Telefonsbicher a aggregators mat grousse Referenz Gewiicht "Rees" d'Spann fänkt. CRAWLER scannt kontinuéierlech d'Säiten eent vun eent, op der Taux an Konsequenz de folgende Faktoren vun chen, hiert:

• Intern: perelinovka (intern Linken tëscht Säiten vun der selwechter Ressource), Site Gréisst, de richtege Code, User-frëndlech a sou op;
• Extern: déi total Referenz Gewiicht, wat op de Site féiert.

Déi éischt Saach der Sich Roboter Recherchen iwwert all Websäit vun robots.txt. Weider Ressource chen, hiert erkléngt baséiert op der Informatioun kritt et aus dësem Dokument ass. Dëse Fichier ass spezifesch Uweisungen "spiders" dass d'Chancen op d'Säit Visiten vun Sich Motore méi kann, an doduercher, eng fréi Hit Site vun der "Yandex" oder Google ze erreechen.

Programm analogs ob

Oft de Begrëff "Sich Roboter" ass mat intelligent, Benotzer oder autonom Agenten duercherneen, "geméint" oder "Worms". Ganz groussen Differenzen nëmmen am Verglach mat Agenten, kuckt aner Definitiounen zu ähnleche Zorte vu Roboteren.

Zum Beispill, kann Agenten ginn:

• intellektuell: Programm, déi vum Site ze Site geplënnert sinn, onofhängeg decidéiert wéi viru; si sinn net ganz heefeg op den Internet;
• Autonom: Dës Agenten hëllefen de Benotzer vun engem Produit, Sich auswielen, oder Formen llt eraus, de sougenannten Filtere, déi zu Reseau Programmer klenge Zesummenhang sinn;.
• Benotzer: de Programm zum Benotzer dÉxistenz de World Wide Web, e Browser (zum Beispill, Opera, IE, Google Sexualmoral, Firefox), Vermëttler (Viber, Hëllefe profitéieren) oder E-mail Programmer (MS Ausbléck an Qualcomm).

"Seechomëssen" an "Worms" sinn méi ähnlech zu der Sich Moteur "spiders". Déi éischt Form tëscht engem Netz a konsequent wéi dës Ant Kolonie zesummekomm, "Worms" ass kënnen an anere respektéiert déi selwecht wéi de Standard CRAWLER ze behaapten.

Ville Sich-Moteur Roboteren

Z'ënnerscheeden tëschent vill Zorte vu ob. Jee no der Zweck vum Programm, si sinn:

• "Record" - Retard Websäite si Consultatioun.
• Mobile - konzentréieren op mobil Versiounen vun Web Säiten.
• Quick - befestegt nei Informatiounen séier duerch déi neisten Aktualiséierunge ukuckt.
• Referenz - Referenz Index, Grof hir Zuelen.
• Indexers verschidden Zorte vu Inhalt - speziell Programmer fir Text, Audio a Video Opzeechnunge, Biller.
• "Spyware" - Sich no Säiten, datt an der Sich-Moteur nach net ugewisen sinn.
• "Woodpecker" - periodesch Siten bei hir Relevanz an Effizienz ze kontrolléieren.
• National - Consultatioun der Web op ee vun de Beräicher Land etabléiert Ressourcen (zB, .mobi, oder .kz .ua).
• Global - Index all national Siten.

Roboteren grouss Sich Motore

Et ginn och e puer Sich-Moteur spiders. An Theorie, kënnen hir Funktionalitéit variéieren dicht, mä an der Praxis sinn d'Programmer bal identesch. D'Haaptrei Differenzen Web Säiten chen, hiert Roboteren zwee grouss Sich Motore si wéi follegt:

• D'stringency vun Testen. Et gëtt ugeholl, datt de Mechanismus vun CRAWLER "Yandex" e bësse streng Schätzung Site fir conforme mat de Standarden vun der World Wide Web.
• Erhaalung vun der Integritéit vum Site. De Google CRAWLER wand de ganzen Site (och Medien Inhalt), "Yandex" kann och Vue Inhalt selektiv.
• Speed Test nei Säiten. Google gëtt nei Ressource am Sich Resultater bannent e puer Deeg, am Fall vun "vum Yandex" Prozess zwou Wochen huelen kann oder méi.
• D'Frequenz Re-chen, hiert. CRAWLER "Yandex" Check fir Aktualiséierungen zweemol an der Woch, a Google - een all 14 Deeg.

Internet, natierlech, net fir déi zwee Sich Motore limitéiert. Aner Sich Motore hunn hir Roboteren déi hir eege chen, hiert Parameteren verfollegen. Zousätzlech, sinn et e puer "spiders" dat net grouss Sich Ressourcen entworf ginn, an eenzelne Équipen oder Webmaster'en.

gemeinsam misconceptions

Géigesaz zu populär Iwwerzeegung, "spiders" Prozess net d'Informatiounen. Programm nëmmen scannt an Geschäfter Web Säiten a weider Veraarbechtung ass e komplett verschidden Roboteren.

vill Benotzer gleewen och, datt d'Sich-Moteur spiders hunn en negativen Impakt an "schiedlech" Internet. An Tatsaach, kann e puer Versioune vun "spiders" deene vill Server. Et ass och e Mënsch Faktor - de Webmaster, déi de Programm hunn, kënne Feeler am Roboter Configuratioun maachen. Nach Meeschter déi bestehend Programmer sinn gutt entworf a professionell verlängert, an all aner Problemer prompt geläscht.

Wéi de chen, hiert ze verwalten

Sich-Moteur Robotere sinn déi automatiséiert Programmer, mä de chen, hiert Prozess kann deelweis duerch de Webmaster kontrolléiert ginn. Dëst hëlleft immens extern an intern akeef vun der Ressource. Zousätzlech, kënnt dir manuell en neie Site fir e Sich-Moteur Foto: groussen Ressourcen eng speziell Form vun Web Säiten ugemellt hunn.