Көпчүлүк сайт ээлери ресурстарды индекстөөгө жана издөө тутумдарынан алып салууга тыюу салуу көйгөйүнө туш болушат. Бул көбүнчө сайт эскирип, маанисиз болуп калгандыктан, жарыялоочу же коноктор сайтка кызыгуусун жоготкондуктан же сайт жеке жана ал тургай купуя маалыматтарды камтыгандыктан болот.
Нускамалар
1 кадам
Сайтты издөө тутумдарынан алып салуунун көптөгөн жолдору бар.
Издөө тутумунан сурамдардын натыйжаларын жок кылуунун биринчи жана эң оңой жолу - баракчаны сайттын өзүнөн жок кылуу же CMS сайтын FTP байланышы аркылуу толугу менен жок кылуу. Бир нече күндөн кийин издөө тутуму маалымат базасын жаңыртып, издөө натыйжаларынан сиздин ресурска шилтемени алып салат.
2-кадам
Веб-мастерлер арасында сайтты, анын айрым бөлүктөрүн же баракчаларын индекстөөдөн коргоонун жана издөө натыйжаларынан шилтемелерди алып салуунун эң популярдуу жолу - robots.txt файлын түзөтүү.
Кодду колдонуп индекстөөдөн өзүнчө баракты жапсаңыз болот:
Колдонуучу-агент: *
Уруксат берүү: /page.html (page.html барагын жабуу)
Интернетте robots.txt файлына коддорду колдонуу боюнча көптөгөн автордук көрсөтмөлөр бар.
3-кадам
Сайт баракчаларын издөө тутумдарынан алып салуунун үчүнчү жолу - бул анын барактарындагы роботтордун мета тегин колдонуу. Тег тегдердин ортосундагы катылган баракчалардын HTML кодуна жазылат.
Ошентип, PS сайтын реиндикстөөдөн кийин, ушул мета теги бар барактар издөөдөн чыгып калат. Бул методдун кемчилиги - көптөгөн заманбап сайттарда tpl шаблондору колдонулат, демек, жүздөгөн, балким миңдеген барактардагы кодду кол менен өзгөртүүгө туура келет.
4-кадам
Сайттарды издөө тутумдарынан алып салуунун төртүнчү жолу - X-Robots-Tag аталыштарын колдонуу. Бул аталыштын маңызы мурунку мета тегинин колдонулушуна окшош, бирок жазуу http аталыштарында жайгаштырылышы керек:
X-Robots-Tag: noindex, nofollow
5-кадам
Вебсайтты (толугу менен) издөө тутумдарынан алып салуунун эффективдүү жолу - бул веб-мастердин панелинен алып салуу. Жаңыртылгандан кийин (3-7 күн) сайт издөө тутуму үчүн жеткиликсиз болот. Вебмастердин панели Yandex (https://webmaster.yandex.ru/delurl.xml) жана Google (https://webmaster.yandex.ru/delurl.xml) издөө тутумдары үчүн жеткиликтүү.
