Индекстөө - бул издөө роботу аркылуу интернет-ресурста жайгашкан файлдарды сканерлөө процесси. Бул процедура сайт издөө тутумундагы ар кандай суроолор боюнча издөө натыйжаларында болушу үчүн жүргүзүлөт. Бүгүнкү күндө ири издөө тутумдарынын катарына Yandex бул сканерлөөнү өз ыкмасы менен жүргүзөт.
Нускамалар
1 кадам
Интернет-сайтты индекстөө атайын автоматтык программалар менен жүргүзүлөт - издөө роботтору, алар Дүйнөлүк Желедеги жаңы сайттардын пайда болушун автоматтык түрдө байкап турушат, Интернетте жайгашкан Интернет баракчаларын, файлдарды жана аларга шилтемелерди ар бир ресурста ар дайым сканерлешет.
2-кадам
Сканерлөө үчүн робот белгилүү бир серверде ресурс жайгашкан каталогго барат. Жаңы сайтты тандоодо робот анын жеткиликтүүлүгүн эске алат. Мисалы, Яндекс алгач орус тилиндеги доменде жана ru - rf, su же ua сайттарында түзүлгөн сайттарды карап чыгып, андан кийин гана башка аймактарга көчүп кетет деген пикирлер бар.
3-кадам
Робот сайтка өтүп, анын түзүмүн сканерлейт, адегенде андан аркы издөөнү көрсөткөн файлдарды издейт. Мисалы, сайтка Sitemap.xml же robots.txt изделет. Бул файлдар сканерлөөдө издөө роботунун жүрүм-турумун белгилөө үчүн колдонулушу мүмкүн. Сайттын картасын (sitemap.xml) колдонуп, робот ресурстун түзүлүшү жөнүндө тагыраак түшүнүк алат. Веб мастер издөө натыйжаларында көрсөтүлгүсү келбеген файлдарды аныктоо үчүн robots.txt колдонот. Мисалы, бул жеке маалымат же башка керексиз маалыматтар болушу мүмкүн.
4-кадам
Ушул эки документти сканерлеп, керектүү көрсөтмөлөрдү алгандан кийин, робот HTML кодун талдай баштайт жана алынган тегдерди иштете баштайт. Демейки шартта, robots.txt файлы жок болсо, издөө тутуму серверде сакталган бардык документтерди иштете баштайт.
5-кадам
Документтердеги шилтемелерди чыкылдатуу менен, робот ушул ресурстардан кийин сканерлөөгө кезекте турган башка сайттар жөнүндө да маалымат алат. Сайттан сканерленген файлдар тексттик көчүрмө жана түзүм катары Yandex маалымат борборлорундагы серверлерде сакталат.
6-кадам
Кайра сканерлөөнүн зарылдыгы роботтор тарабынан автоматтык түрдө аныкталат. Программа кайрадан индекстөөдөн өткөндө, бар болгон издөө натыйжасын сайттын жаңыртылган версиясы менен салыштырат. Эгерде программа тарабынан алынган маалыматтар айырмаланса, анда сайттын көчүрмөсү Yandex серверинде дагы жаңыланат.
