SEO-оновчлогчийн ажил маш том хэмжээтэй. Эхлэгчдэд ямар ч алхамыг алдахгүйн тулд оновчлолын алгоритмыг бичихийг зөвлөж байна. Үгүй бол сайтад алдаа, алдаа байнга гарах тул удаан хугацаанд засч залруулах шаардлагатай тул сурталчилгаа амжилттай гэж нэрлэгдэх боломжгүй.
Онжуулах алхамуудын нэг нь robots.txt файлтай ажиллах явдал юм. Нөөц бүр ийм баримт бичигтэй байх ёстой, учир нь үүнгүйгээр оновчлолыг даван туулахад илүү хэцүү байх болно. Энэ нь таны ойлгох ёстой олон функцийг гүйцэтгэдэг.
Робот туслах
Robots.txt файл нь системийн стандарт Notepad дээр үзэх боломжтой энгийн текст баримт бичиг юм. Үүнийг үүсгэхдээ кодчилолыг UTF-8 болгож тохируулах ёстой бөгөөд ингэснээр зөв унших боломжтой болно. Файл нь http, https болон FTP протоколуудтай ажилладаг.
Энэ баримт бичиг нь робот хайхад туслах болно. Хэрэв та мэдэхгүй байгаа бол систем бүр World Wide Web-ийг хурдан мөлхдөг "аалз" ашигладаг бөгөөд холбогдох сайтуудыг асуулгад буцааж өгдөг.хэрэглэгчид. Эдгээр роботууд нөөцийн өгөгдөлд хандах эрхтэй байх ёстой, үүнд robots.txt ажилладаг.
Аалзнууд замаа олохын тулд та robots.txt баримтыг үндсэн лавлах руу илгээх хэрэгтэй. Сайт энэ файлтай эсэхийг шалгахын тулд хөтчийн хаягийн мөрөнд "https://site.com.ua/robots.txt" гэж оруулна уу. "site.com.ua"-ын оронд та шаардлагатай эх сурвалжаа оруулах хэрэгтэй.
Баримт бичгийн функцүүд
Robots.txt файл нь мөлхөгчдийг хэд хэдэн төрлийн мэдээллээр хангадаг. Энэ нь "аалз" нь нөөцийн тодорхой элементүүдийг сканнердахын тулд хэсэгчилсэн хандалтыг өгөх боломжтой. Бүрэн хандалт нь танд байгаа бүх хуудсыг шалгах боломжийг олгоно. Бүрэн хориг нь роботуудыг шалгаж эхлэхээс сэргийлж, сайтыг орхих болно.
Нөөцтэй танилцсаны дараа "аалзнууд" хүсэлтэд зохих хариуг хүлээн авдаг. Тэдгээрийн хэд хэдэн байж болох юм, бүгд robots.txt дээрх мэдээллээс хамаарна. Жишээлбэл, скан амжилттай бол робот 2xx кодыг хүлээн авна.
Сайтыг нэг хуудаснаас нөгөө хуудас руу шилжүүлсэн байж магадгүй. Энэ тохиолдолд робот 3xx кодыг хүлээн авдаг. Хэрэв энэ код олон удаа тохиолдвол аалз өөр хариу хүлээн авах хүртэл үүнийг дагадаг. Хэдийгээр тэр дүрмээр бол ердөө 5 оролдлого ашигладаг. Үгүй бол алдартай 404 алдаа гарч ирнэ.
Хэрэв хариулт нь 4xx бол робот сайтын агуулгыг бүхэлд нь мөлхөх боломжтой. Гэхдээ 5xx кодын хувьд энэ нь түр зуурын серверийн алдааг илтгэдэг тул шалгалт бүрэн зогсч магадгүй.
Юуны төлөөrobots.txt хэрэгтэй юу?
Таны таамаглаж байгаачлан энэ файл нь роботуудын сайтын үндсэн мэдээллийн хөтөч юм. Одоо үүнийг зохисгүй контент руу нэвтрэх эрхийг хэсэгчлэн хязгаарлахад ашиглаж байна:
- хэрэглэгчийн хувийн мэдээлэл бүхий хуудас;
- толь сайтууд;
- хайлтын үр дүн;
- мэдээлэл илгээх маягтууд гэх мэт.
Хэрэв сайтын үндсэн хэсэгт robots.txt файл байхгүй бол робот бүх контентыг мөлхөх болно. Үүний дагуу хайлтын үр дүнд хүсээгүй мэдээлэл гарч ирэх бөгөөд энэ нь та болон сайт хоёулаа хохирно гэсэн үг юм. Хэрэв robots.txt баримт бичигт тусгай заавар байгаа бол "аалз" тэдгээрийг дагаж, нөөцийн эзэмшигчийн хүссэн мэдээллийг өгөх болно.
Файлтай ажиллах
Сайтыг индексжүүлэхийг хориглохын тулд robots.txt ашиглахын тулд та энэ файлыг хэрхэн үүсгэхийг ойлгох хэрэгтэй. Үүнийг хийхийн тулд зааврыг дагана уу:
- Notepad эсвэл Notepad++ дээр документ үүсгэх.
- ".txt" файлын өргөтгөлийг тохируулна уу.
- Шаардлагатай өгөгдөл болон тушаалуудыг оруулна уу.
- Баримт бичгийг хадгалаад сайтын үндэс рүү байршуулна уу.
Таны харж байгаагаар аль нэг үе шатанд роботуудад зориулсан командуудыг тохируулах шаардлагатай байна. Эдгээр нь зөвшөөрөх (Зөвшөөрөх) ба хориглох (Зөвшөөрөх) гэсэн хоёр төрөлтэй. Мөн зарим оновчтой болгогчид мөлхөх хурд, хост болон нөөцийн хуудасны газрын зураг руу холбох холбоосыг зааж өгч болно.
Robots.txt-тэй ажиллаж эхлэх, сайтыг индексжүүлэхийг бүрмөсөн хаахын тулд та ашигласан тэмдэгтүүдийг ойлгох ёстой. Жишээлбэл, баримт бичигт"/"-г ашиглах нь сайтыг бүхэлд нь сонгосон болохыг харуулж байна. Хэрэв "" ашигласан бол тэмдэгтүүдийн дараалал шаардлагатай. Ийм байдлаар сканнердах боломжтой, үгүй ч гэсэн тодорхой фолдерыг зааж өгөх боломжтой болно.
Ботуудын онцлог
Хайлтын системд зориулсан "аалзнууд" нь өөр өөр байдаг тул хэрэв та нэгэн зэрэг хэд хэдэн хайлтын системд ажилладаг бол энэ мөчийг анхаарч үзэх хэрэгтэй. Тэдний нэрс өөр бөгөөд хэрэв та тодорхой роботтой холбогдохыг хүсвэл түүний нэрийг зааж өгөх хэрэгтэй болно: "Хэрэглэгчийн агент: Yandex" (хашилтгүй).
Хэрэв та бүх хайлтын системд зааврыг тохируулахыг хүсвэл "Хэрэглэгчийн агент: " (хашилтгүйгээр) командыг ашиглах хэрэгтэй. Robots.txt ашиглан сайтыг индексжүүлэхийг зөв хаахын тулд та алдартай хайлтын системийн онцлогийг мэдэх хэрэгтэй.
Баримт нь хамгийн алдартай хайлтын систем Yandex болон Google хэд хэдэн роботтой. Тэд тус бүр өөрийн гэсэн даалгавартай байдаг. Жишээлбэл, Yandex Bot болон Googlebot нь сайтыг мөлхдөг гол "аалзууд" юм. Бүх роботуудыг мэдсэнээр нөөцийнхөө индексжүүлэлтийг нарийн тааруулахад хялбар байх болно.
Жишээ
Тиймээс, robots.txt-ийн тусламжтайгаар та сайтыг энгийн командуудаар индексжүүлэхээс хааж болно, гол зүйл бол танд юу хэрэгтэй байгааг ойлгох явдал юм. Жишээлбэл, хэрэв та Googlebot-ыг таны нөөцөд ойртохгүй байхыг хүсвэл түүнд тохирох тушаалыг өгөх хэрэгтэй. Энэ нь иймэрхүү харагдах болно: "Хэрэглэгчийн агент: Googlebot Зөвшөөрөхгүй: /" (хашилтгүй).
Одоо бид энэ тушаалд юу байгааг, хэрхэн ажилладагийг ойлгох хэрэгтэй. Тиймээс "Хэрэглэгч-агент"нь роботуудын аль нэгэнд шууд дуудлага хийхэд хэрэглэгддэг. Дараа нь бид аль нь болохыг зааж өгнө, энэ нь манай тохиолдолд Google юм. "Зөвшөөрөх" команд нь шинэ мөрөнд эхэлж, роботыг сайт руу нэвтрэхийг хориглох ёстой. Энэ тохиолдолд ташуу зураасны тэмдэг нь нөөцийн бүх хуудсыг тушаалын гүйцэтгэлд сонгосон болохыг харуулж байна.
Robots.txt дээр та "Хэрэглэгч-агент:Зөвшөөрөхгүй: /" (хашилтгүйгээр) энгийн тушаалаар бүх хайлтын системд индексжүүлэлтийг идэвхгүй болгож болно. Энэ тохиолдолд одны тэмдэгт нь хайлтын бүх роботыг илэрхийлдэг. Ер нь сайтын индексжүүлэлтийг түр зогсоож, үндсэн ажлыг эхлүүлэхийн тулд ийм тушаал шаардлагатай байдаг бөгөөд өөрөөр хэлбэл оновчлолд нөлөөлж болзошгүй.
Хэрэв нөөц нь том бөгөөд олон хуудастай бол энэ нь ихэвчлэн задруулахыг хүсээгүй, эсвэл сурталчилгаанд сөргөөр нөлөөлдөг өмчийн мэдээллийг агуулдаг. Энэ тохиолдолд та хуудсыг robots.txt дээр индексжүүлэхээс хэрхэн хаахыг ойлгох хэрэгтэй.
Та хавтас эсвэл файлыг нуух боломжтой. Эхний тохиолдолд та тодорхой нэг робот эсвэл хүн бүртэй холбоо барьж дахин эхлүүлэх шаардлагатай тул бид "Хэрэглэгчийн агент" командыг ашигладаг бөгөөд доор нь бид тодорхой хавтсанд зориулж "Зөвшөөрөх" командыг зааж өгнө. Энэ нь иймэрхүү харагдах болно: "Зөвшөөрөхгүй: / хавтас /" (хашилтгүйгээр). Ингэснээр та бүх хавтсыг нуух болно. Хэрэв энэ нь таны харуулахыг хүсэж буй зарим нэг чухал файлыг агуулж байгаа бол та дараах тушаалыг бичих хэрэгтэй: "Зөвшөөрөх: /folder/file.php" (хашилтгүй).
Файлыг шалгах
Хэрэв сайтыг хаахын тулд robots.txt ашиглаж байгаа болТа индексжүүлэлтийг амжилттай хийсэн ч таны бүх заавар зөв ажиллаж байгаа эсэхийг мэдэхгүй байгаа тул ажлын зөв эсэхийг шалгах боломжтой.
Эхлээд та баримт бичгийн байршлыг дахин шалгах хэрэгтэй. Энэ нь зөвхөн үндсэн хавтсанд байх ёстой гэдгийг санаарай. Хэрэв энэ нь үндсэн хавтсанд байгаа бол энэ нь ажиллахгүй болно. Дараа нь хөтчөө нээгээд дараах хаягийг оруулна уу: "https:// таны сайт. com/robots.txt" (хашилтгүйгээр). Хэрэв та вэб хөтөч дээрээ алдаа гарвал файл байх ёстой газраа биш байна.
Захирамжийг бараг бүх вэбмастерын ашигладаг тусгай хэрэгслээр шалгаж болно. Бид Google болон Yandex-ийн бүтээгдэхүүний талаар ярьж байна. Жишээлбэл, Google Search Console-д "Crawl"-ыг нээж, дараа нь "Robots.txt File Inspection Tool"-ийг ажиллуулах хэрэгтэй багаж самбар байдаг. Та баримтаас бүх өгөгдлийг цонх руу хуулж, сканнердаж эхлэх хэрэгтэй. Яг ижил шалгалтыг Yandex. Webmaster дээр хийж болно.
