الدرس التاسع اعداد ملف robots.txt

 اعداد ملفrobots.txt وارشقة المدونة

سوف نتحدث في هذا الدرس عن كيفية اعداد ملف robots.txt وكيفية فحص  الكود الخاص بنا عن طريق google

السلام عليكم ورحمة الله وبركاته بسم الله والصلاة والسلام على رسول الله ، ثم اما بعد :

ماهو ملف روبوت Robots.txt وما اهميته؟

باختصار شديد ملف روبوتس Robots.txt هو ملف يقوم بتوجيه روبوتات وعناكب البحث للصفحات المهمة علي موقعك او الصفحات التي سيتم ارشفتها حيث يخبر هذا الملف عناكب البحث بان هذه الصفحات هي الاهم علي موقعك وهي التي سوف يتم ارشفتها, ويبعدهم ايضاً عن الصفحات غير المهمة والتي لايجب علي عناكب البحث ارشفتها واظهارها علي محركات البحث.

طريقة التركيب  قم بسخ الكود مع مراعات تبديل اللون الاحمر برابط مدونتك وضعه كما في الصورة
    

الاعدادات ------->‏ملف robots.txt مخصص -------->نعم ثم الصق الكود 

مكان وضع الكود

User-agent: *
Disallow: /
Allow: /
Sitemap: https://xxxxxxx.blogspot.com/sitemap.xml

للتاكد من الملف يمكنك التأكد باستخدام ادة التحقق الخاصة بغوغل من هنا

حيث يعد الخيار:
 User-agent: هو الخيار الذي يحدد انواع الروبوتات التي تريد التعامل معها وهي كثيرة للاطلاع عليها من هنا او الخاصة ب غوغل من هنا وفي حال اردت كتابة كود ل كل ال Robots تضع رمز ال *
Disallow: هو الخيار الذي نحدد الصفحات الغير مسموح ارشفتها في حال عدم الوجود اتركها كما هي 
Allow:هو الخيار الذي نحدد الصفحات المسموح ارشفتها اتركها كما هي للارشفة الكاملة
Sitemap: مكان ال Sitemap بدل اللون الاحمر برابط مدونتك 



من ثم نقوم بالتعديل (علامات روؤس مخصصة لبرامج ال robots)كما في الصورة

حيث تكون معنى العبارات كما يلي في حال ارت التعديل فيما يناسبك

all: يعتبر هذا الخيار عام حيث يخبر عناكب البحث ان تأرشف كل شئ علي المدونة.


noindex: يقوم هذا الامر بعدم ارشفة محتوي الصفحة علي محركات البحث.


nofollow: يخبر عناكب البحث ان لاتقوم بتتبع هذه الروابط الموجودة في صفحة ما.


none: هذا الخيار ليس له تأثير فهو يشبه كثيراً noindex&nofollow .


noarchive: يمنع هذا الامر العناكب من عرض نسخه مخبأة للصحفات.


nosnippet: يمنع ظهور المقتطفات المنسقة "structured markup" في نتائج البحث .


noodp: تمنع عرض اي بيانات من هذه الصفحة من خلال dmoz.


notranslate: تمنع ترجمه محتوي الصفحات التي تحتوي علي هذا الامر.


noimageindex: تخبر عناكب البحث بعدم فهرسة الصور داخل الصفحات.


unavailable_after: يقوم هذا الخيار بعدم عرض صفحة ما unavailable page بعد مدة معينة تقوم بتحديدها.
اذا لم تكن اضفت ملفات ال sitmap في ادوات مشرفي المواقع  اقرأهنا

لمزيد من المعلومات متابعة الفيديو