Beth yw ymlusgo? offeryn ymlusgo "Yandex" a Google

Bob dydd ar y Rhyngrwyd, mae llawer iawn o ddeunyddiau newydd i greu gwefan diweddaru hen dudalennau gwe, llwytho lluniau a fideos. Heb cuddio o beiriannau chwilio Ni ellid dod o hyd yn y We Fyd Eang, nid yw'r un o'r dogfennau hyn. Nid yw Dewisiadau eraill fel rhaglenni robotig ar unrhyw adeg benodol yn bodoli. Beth yw robot chwilio, pam yr ydych ei angen a sut i weithredu?

Beth yw robot chwilio

Safle araf (peiriant chwilio) - mae'n rhaglen awtomatig sy'n gallu ymweld â'r miliynau o dudalennau gwe, lywio gyflym drwy'r rhyngrwyd heb unrhyw ymyrraeth gweithredwr. Bots yn gyson gofod sgan o'r We Fyd-Eang, dod o hyd i dudalennau gwe newydd ac yn rheolaidd eisoes yn ymweld mynegeio. Enwau eraill ar gyfer ymlusgwyr gwe pry cop, ymlusgwyr, bots.

Pam mae pryfed cop peiriant chwilio

Y prif swyddogaethau sy'n perfformio corynnod peiriant chwilio - mynegeio tudalennau gwe, yn ogystal â thestun, delweddau, sain a ffeiliau fideo sydd arnynt. Bots gwirio geirdaon, safleoedd drych (copi) a diweddariadau. Y robotiaid hefyd yn perfformio rheolaeth HTML-god ar gyfer safonau Cydymffurfio Sefydliad y Byd, sy'n datblygu ac yn gweithredu safonau technolegol ar gyfer y We Fyd Eang.

Beth yw mynegeio, a pham mae ei angen

Mynegeio - yw, mewn gwirionedd, yw'r broses o ymweld â dudalen we benodol drwy beiriannau chwilio. Mae'r rhaglen yn sganiau y testun ar y safle hwn, delweddau, fideos, cysylltiadau Outbound, yna bydd y dudalen yn ymddangos yn y canlyniadau chwilio. Mewn rhai achosion, ni all y safle yn cael ei sganio yn awtomatig, yna gellir ei hychwanegu at y peiriant chwilio â llaw gwefeistr. Yn nodweddiadol, mae hyn yn digwydd yn absenoldeb cysylltiadau allanol i dudalen benodol (yn aml yn creu dim ond yn ddiweddar).

Sut mae chwilio pryfed cop peiriant

Mae gan bob peiriant chwilio ei bot hun gyda'r robot chwilio Google yn gallu amrywio'n sylweddol yn ôl y mecanwaith yn gweithio ar raglen debyg, "Yandex" neu systemau eraill.

Yn gyffredinol, mae egwyddor gweithio robot fel a ganlyn: y rhaglen "yn dod" ar y safle a chysylltiadau allanol o brif dudalen, "darllen" Adnodd ar y we (gan gynnwys y rhai sy'n chwilio uwchben nad yw'n gweld y defnyddiwr). Cychod yw sut i lywio rhwng y tudalennau o safle a symud ymlaen i eraill.

Bydd y rhaglen yn dewis pa safle i mynegai? Yn amlach na pheidio "baglu" y pry cop yn dechrau gyda safleoedd newyddion neu gyfeiriaduron adnoddau mawr a aggregators gyda phwysau gyfeirio mawr. Crawler barhaus sganiau y tudalennau fesul un, ar y gyfradd a chysondeb mynegeio y ffactorau canlynol:

• Mewnol: perelinovka (cysylltiadau mewnol rhwng tudalennau o'r un adnoddau), maint y safle, mae'r cod yn gywir, hawdd ei ddefnyddio ac yn y blaen;
• Allanol: cyfanswm y pwysau cyfeirio, sy'n arwain at y safle.

Y peth cyntaf y chwiliadau chwilio robot ar unrhyw wefan gan robots.txt. mynegeio adnoddau pellach yn cael ei berfformio ar sail y wybodaeth a dderbyniwyd ei fod o'r ddogfen hon. Mae'r ffeil hon yn cynnwys cyfarwyddiadau penodol ar gyfer y "cop" a all gynyddu'r posibilrwydd o ymweliadau dudalen gan beiriannau chwilio, ac, o ganlyniad, i gyflawni safle daro gynnar yn y "Yandex" neu Google.

Rhaglen analogs ymlusgwyr

Yn aml, mae'r term "robot chwilio" yn cael ei gymysgu â deallus, defnyddiwr neu asiantau ymreolaethol, "morgrug" neu "mwydod". gwahaniaethau sylweddol ymgolli yn unig o'i gymharu ag asiantau, diffiniadau eraill yn cyfeirio at fathau tebyg o robotiaid.

Er enghraifft, gall asiantau fod yn:

• deallusol: y rhaglen, sy'n cael eu symud o safle i safle, penderfynu yn annibynnol sut i symud ymlaen; nid ydynt yn gyffredin iawn ar y Rhyngrwyd;
• Ymreolaethol: Mae'r rhain yn asiantau helpu'r defnyddiwr wrth ddewis cynnyrch, chwilio, neu lenwi ffurflenni, yr hidlwyr fel y'i gelwir, sy'n ychydig gysylltiedig i raglenni rhwydwaith;.
• defnyddiwr: mae'r rhaglen yn cyfrannu at ryngweithio defnyddiwr y We Fyd Eang, porwr (er enghraifft, Opera, IE, Google Chrome, Firefox), negeseuwyr (Viber, Telegram) neu raglenni e-bost (MS Outlook a Qualcomm).

"Morgrug" a "llyngyr" yn fwy tebyg i'r peiriant chwilio "cop". Mae'r ffurflen cyntaf rhwng rhwydwaith ac yn gyson yn rhyngweithio fel hyn nythfa morgrug, "llyngyr" yn gallu ailadrodd mewn ffyrdd eraill yr un fath â'r ymlusgwr safonol.

Amrywiaeth o robotiaid peiriant chwilio

Gwahaniaethu rhwng sawl math o ymlusgwyr. Yn dibynnu ar y diben y rhaglen, sef:

• "Drych" - dyblyg yn cael eu pori gwefannau.
• Symudol - canolbwyntio ar fersiynau symudol o dudalennau gwe.
• Quick - atgyweiria gwybodaeth newydd yn gyflym drwy edrych ar y diweddariadau diweddaraf.
• Cyfeirnod - mynegai cyfeirio, yn cyfrif eu niferoedd.
• Indexers gwahanol fathau o gynnwys - rhaglenni penodol ar gyfer testun, sain, fideo, delweddau.
• "Spyware" - yn edrych am dudalennau sydd heb eu harddangos eto yn y peiriant chwilio.
• "Gnocell" - o bryd i'w gilydd ymweld â safleoedd i wirio eu perthnasedd ac effeithlonrwydd.
• Cenedlaethol - pori'r Adnoddau ar y we lleoli ar un o'r parthau wlad (ee, .mobi, neu .kz .ua).
• Byd-eang - mynegai holl safleoedd cenedlaethol.

Robotiaid peiriannau chwilio mawr

Mae yna hefyd rai pryfed cop peiriant chwilio. Mewn egwyddor, gall eu swyddogaeth yn amrywio'n fawr, ond yn ymarferol mae'r rhaglenni yn cael eu bron yn union. Y prif wahaniaethau mynegeio tudalennau gwe robotau dau brif beiriannau chwilio fel a ganlyn:

• Mae lymder o brofi. Credir bod y mecanwaith o ymlusgo "Yandex" amcangyfrifon ychydig yn llymach y safle ar gyfer cydymffurfio â'r safonau y We Fyd Eang.
• Cadw gyfanrwydd y safle. Mae'r mynegeion crawler Google y safle cyfan (gan gynnwys cynnwys cyfryngau), "Yandex" Gall hefyd weld y cynnwys ddetholus.
• Prawf Cyflymder tudalennau newydd. Google yn ychwanegu adnodd newydd yn y canlyniadau chwilio o fewn ychydig ddyddiau, yn achos proses "gan Yandex" Gall gymryd pythefnos neu fwy.
• Mae amlder o ail-mynegeio. Crawler "Yandex" gwirio am ddiweddariadau ddwywaith yr wythnos, a Google - un bob 14 diwrnod.

Rhyngrwyd, wrth gwrs, heb fod yn gyfyngedig i'r ddau peiriannau chwilio. beiriannau chwilio eraill yn cael eu robotiaid sy'n dilyn eu paramedrau mynegeio hunain. Yn ogystal, mae yna nifer o "cop" sydd wedi'u cynllunio adnoddau chwilio nid yn sylweddol, a thimau neu webmasters unigol.

camsyniadau cyffredin

Yn groes i'r gred boblogaidd, "cop" nid ydynt yn prosesu'r wybodaeth. Mae'r rhaglen yn unig sganiau ac yn storio tudalennau gwe a phrosesu pellach yn cymryd hollol wahanol robotiaid.

Hefyd, mae llawer o ddefnyddwyr yn credu bod y pryfed cop peiriant chwilio yn cael effaith negyddol a "niweidiol" Rhyngrwyd. Yn wir, gall rhai fersiynau o "cop" gorlwytho'r gweinydd yn sylweddol. Mae hefyd yn ffactor ddynol - y gwefeistr, a greodd y rhaglen, wneud camgymeriadau yn y cyfluniad robot. Ac eto, y rhan fwyaf o'r rhaglenni presennol yn cael eu cynllunio a'u rheoli'n dda yn broffesiynol, ac unrhyw broblemau sy'n codi symud yn ddi-oed.

Sut i reoli'r mynegeio

robotiaid peiriant chwilio yn rhaglenni awtomataidd, ond gall y broses mynegeio yn cael ei reoli yn rhannol gan y gwefeistr. Mae hyn yn helpu yn fawr allanol ac optimeiddio mewnol yr adnodd. Yn ogystal, gallwch manually ychwanegu safle newydd i beiriant chwilio: adnoddau mawr yn fath arbennig o gofrestru tudalennau gwe.