Издөө тутумунун роботу веб баракчаларды сойлоп чыгууга жооптуу. Программа бардык сайттардагы маалыматтарды автоматтык түрдө окуйт жана аларды издөө тутуму үчүн түшүнүктүү формада каттайт, ошондо кийин тутум колдонуучуга эң ылайыктуу жыйынтыктарды көрсөтөт.
Функциялар
Бардык индекстелген маалыматтар жалпы маалымат базасына жазылат.
Издөөчү робот - бул керектүү документтерди сурап, сойлоп чыккан сайттардын түзүмүн кабыл алып, Интернеттин баракчалары аркылуу автоматтык түрдө саякаттап жүргөн программа. Робот сканерленүүчү баракчаларды өз алдынча тандайт. Көпчүлүк учурда, скандоочу сайттар туш келди тандалып алынат.
Bot түрлөрү
Туура эмес иштеген робот тармакка жана серверге жүктү кыйла көбөйтөт, натыйжада ресурс иштебей калышы мүмкүн.
Ар бир издөө тутумунда робот деп аталган бир нече программа бар. Алардын ар бири белгилүү бир функцияны аткара алат. Мисалы, Yandex-те кээ бир роботтор RSS жаңылыктар лентасын сканерлөөгө жооп беришет, бул блогдорду индекстөө үчүн пайдалуу болот. Сүрөттөрдү гана издей турган программалар бар. Бирок, эң негизгиси, бул ар кандай издөөнүн негизин түзгөн индекстөөчү бот. Ошондой эле жаңылыктар түрмөгүндө жана окуяларда жаңыртууларды издөөгө арналган тез жардамчы робот бар.
Скандоонун жол-жобосу
Мазмунду сойлоп кетүүдөн сактоонун дагы бир жолу - каттоо панели аркылуу сайтка кирүү мүмкүнчүлүгүн түзүү.
Сайтка киргенде, программа файл тутумун robots.txt көрсөтмө файлдарынын бар-жогун текшерет. Эгерде документ болсо, анда документте жазылган директиваларды окуу башталат. Robots.txt сайттын айрым барактарын жана файлдарын сканерлөөгө тыюу салат же тескерисинче уруксат берет.
Сканерлөө процесси программанын түрүнө жараша болот. Кээде роботтор баракчалардын аталыштарын жана бир нече абзацтарды гана окушат. Кээ бир учурларда, сканерлөө HTML белгилөөсүнө жараша документтин ичинде жүргүзүлөт, ал негизги фразаларды көрсөтүү каражаты катары да иштей алат. Айрым программалар жашыруун же мета тэгдеринде адистешкен.
Тизмеге кошуу
Ар бир вебмастер издөө тутумун robots.txt же META теги аркылуу барактарды сойлоп чыгуусунун алдын алат. Ошондой эле, сайтты жаратуучу сайтты индекстөө кезегине кол менен кошо алат, бирок аны кошуу робот каалаган баракты дароо сойлоп кетет дегенди билдирбейт. Кезекке сайт кошуу үчүн издөө тутумдары атайын интерфейстерди да камсыз кылышат. Сайтты кошуу индекстөө процессин кыйла тездетет. Ошондой эле, издөө тутумуна тез катталуу үчүн, веб-аналитикалык тутумдар, сайттар каталогу ж.б.
