باختصار شديد ملف robots.txt هو ملف يقوم ب (السماح / منع) روبوتات وعناكب البحث للوصول لصفحات موقعك التي سيتم ارشفتها . ويبعدهم ايضاً عن الصفحات غير المهمة والتي لايجب علي عناكب البحث ارشفتها واظهارها علي محركات البحث.
طريقة اعداد ملف robots.txt
يستعمل ملف robots.txt غالباً من أجل منع محركات البحث من أرشفة أشياء غير نافعة للمستخدم . والافضل دائما استخدام الملف الاساسي (لاكن الملف الاساسي يمنع الوصول لصفحات التسميات) او ان لا تفعل الامر من الاساس ف بلوجر باعتباره مستضافا على خوادم جوجل وجوجل يتكفل بكل شىء نيابه عنك فلا تعبث كثيرا بهذه الملفات.افضل ملف روبوت robots.txt مخصص
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: / search
Allow: /
Sitemap: https://shdowtech.blogspot.com/sitemap.xml
افضل اعدادات
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/about.html
Disallow: /p/contact.html
Allow: /
Sitemap: https://shdowtech.blogspot.com/sitemap.xml
شرح الاكواد
User-agent: Mediapartners-Google {أضف إشارة مرجعية إلى أن المدونة تستخدم AdSense}
Disallow: {لا يسمح بمحركات البحث من ارشفة الروابط}
User-agent: * {جميع الروبوتات محرك البحث}
Disallow: /search {لا تسمح بعد رابط}
Allow: / {مسموح بالزحف العلامة (/) هي اسم المدونة}
Sitemap: https://blog-anda.blogspot.com/sitemap.xml {خريطة الموقع / خريطة موقع بلوق}
تعليقات
إرسال تعليق