Ձեր կայքի արմատից պահվող robots.txt ֆայլը կհայտարարի վեբ ռոբոտներին, ինչպիսիք են որոնիչի սերվերները, թե ինչ դիրեկտորիաներ եւ ֆայլեր են թույլատրվում քշել: Հեշտ է օգտագործել robots.txt ֆայլը, բայց կան որոշ բաներ, որոնք պետք է հիշել:
- Black գլխարկի վեբ ռոբոտները անտեսում են ձեր robots.txt ֆայլը: Ամենատարածված տեսակները վնասատուների բոտերն են եւ ռոբոտները, որոնք փնտրում են էլփոստի հասցեները բերքահավաքում:
- Որոշ նոր ծրագրավորողներ կստեղծեն ռոբոտներ, որոնք անտեսում են robots.txt ֆայլը: Դա սովորաբար կատարվում է սխալմամբ:
- Յուրաքանչյուրը կարող է տեսնել ձեր robots.txt ֆայլը: Նրանք միշտ անվանում են robots.txt եւ միշտ պահվում են կայքի արմատից:
- Վերջապես, եթե որեւէ մեկը կապում է ֆայլի կամ գրացուցակի հետ, որը բացառվում է ձեր robots.txt ֆայլից, որը չի բացառվում նրանց robots.txt ֆայլից, որոնիչները կարող են այն գտնել:
Մի օգտագործեք robots.txt ֆայլերը կարեւոր բան պահելու համար: Փոխարենը, դուք պետք է կարեւոր տեղեկությունները պահեք անվտանգ գաղտնաբառերի ետեւում կամ ամբողջովին հեռացեք ցանցից:
Ինչպես օգտագործել այս նմուշի ֆայլերը
Պատճենեք այն տեքստը, որը ամենալավն է այն, ինչ ցանկանում եք անել եւ տեղադրել այն ձեր robots.txt ֆայլում: Փոխեք ռոբոտը, գրացուցակը եւ ֆայլի անունները ձեր նախընտրած կազմաձեւքին համապատասխանելու համար:
Երկու հիմնական Robots.txt ֆայլերը
User-agent: *
Թույլ չտալ. /
Այս ֆայլում նշվում է, որ ցանկացած ռոբոտը (User-agent: *), որը մուտք է գործում, պետք է անտեսի կայքի ամեն էջը (Disallow: /):
User-agent: *
Թույլ չտալ.
Այս ֆայլը ասում է, որ ցանկացած ռոբոտ (User-agent: *), որը հասանելի է, թույլ է տալիս դիտել կայքի յուրաքանչյուր էջը (Disallow:):
Դուք նաեւ կարող եք դա անել, թողնելով ձեր robots.txt ֆայլը դատարկ կամ չունենալով ձեր կայքում:
Պաշտպանեք հատուկ դիրեկտորների ռոբոտներից
User-agent: *
Թույլ չտալու: / cgi-bin /
Թույլ չտալու: / temp /
Այս ֆայլում նշվում է, որ ցանկացած ռոբոտ (մուտքագրող օգտագործողը) պետք է անտեսի դիրեկտորիաների / cgi-bin / եւ / temp / (Disallow: / cgi-bin / Disallow: / temp /):
Պաշտպանեք ռոբոտներից հատուկ էջերը
User-agent: *
Թույլ չտան: / jenns-stuff.htm
Թույլ չտան: /private.php
Այս ֆայլը նշում է, որ ցանկացած ռոբոտ (User-agent: *), որը մուտք է գործում, պետք է անտեսի ֆայլերը / jenns-stuff.htm եւ /private.php (Disallow: /jenns-stuff.htm Disallow: /private.php):
Կանխել հատուկ ռոբոտը ձեր կայքի մուտքը
User-agent: Lycos / xx
Թույլ չտալ. /
Այս ֆայլը ասում է, որ Lycos bot- ը (User-agent: Lycos / xx) չի թույլատրվում մուտք գործել կայքում (Disallow: /):
Թույլ տալ միայն մեկ հատուկ ռոբոտների մատչելիություն
User-agent: *
Թույլ չտալ. /
User-agent: Googlebot
Թույլ չտալ.
Այս ֆայլը առաջին հերթին արգելում է բոլոր ռոբոտներին, ինչպես մենք վարվեցինք, եւ ապա հստակորեն թույլ տվեց Googlebot- ը (User-agent: Googlebot) ամեն ինչ հասանելի դառնալու համար (Disallow:):
Միավորել բազմակի գծեր, որպեսզի ստանաք բացառապես բացառություններ
Թեեւ ավելի լավ է օգտվել User-Agent- ի ներդաշնակ գիծը, ինչպես, օրինակ, User-agent: *, կարող եք լինել կոնկրետ, ինչպես ձեզ դուր է գալիս: Հիշեք, որ ռոբոտները կարդում են ֆայլը: Այսպիսով, եթե առաջին տողերը ասում են, որ բոլոր ռոբոտները արգելափակված են ամեն ինչից, ապա հետագայում ֆայլում ասվում է, որ բոլոր ռոբոտներին թույլատրվում է մուտք գործել ամեն ինչ, ռոբոտները ամեն ինչ կստանան:
Եթե համոզված չեք, արդյոք ձեր robots.txt ֆայլը ճիշտ եք գրել, կարող եք օգտագործել Google- ի վեբկայք գործիքները ձեր robots.txt ֆայլը ստուգելու կամ նոր գրել: