القائمة الرئيسية

الصفحات

وحدةُ التَّحكم

طريقة إنشاء أفضل ملف robots.txt يتناسب مع موقعك بنفسك

ans msl
(0)

طريقة إنشاء أفضل ملف الروبوت

تتعلم من خلالنا كيفية إنشاء أفضل ملف robots.txt

هناك العديد من المواقع تقول :

هذا أفضل ملف robots.txt

ولكن هذا لا يعتبر حقيقة، فلا وجود لملف ذا جودة أفضل من غيره.

 إن ما يميز الملف عن غيره هو صنيع يديك. ومحاولتك لابتكار افضل ملف يتماشى مع ما يحتاج إليه موقعك.

ولهذا عيك ان تتعرف على كيفية إنشائه بنفسك ولا داعي لأن تضيع وقتك في البحث عن الأفضل. 

فأنت من سوف تقوم بصناعته لنفسك.


سبب وجود ملف الروبوت Txt.

تواجد ملف الروبوت لأمرين أساسيين: 

السماح لمحرك البحث بالفهرسة.

منع محرك البحث من الدخول.

بسبب هذين الأمرين نفهم المغزى من تواجد هذا الملف، فهو يقوم بمنع كلي او جزئي لبعض الصفحات من الظهور في محرك البحث أو من إمكانية الزحف من قبل برنامج bots ل Google.

فحتى يكون الملف الذي سنقوم بإضافته إلى مدونتنا مميزا يجب أن نحسن طريقة استعماله وبعبارة أخرى كيف يفضل أن يكون الملف بعد تجهيزه ولأجل هذا سوف نشرح كيفية إنشائه.


فهم ملف robots.txt :

أولاً علينا أن نفهم آلية عمل هذا الملف بحيث يبتدأ بالتعريف بوكيل المستخدم الذي تصب حوله رموز هذه التعليمات، وهذه التعليمات من google بالطبع.

  • يبتدأ الملف بـ:

User-agent: Mediapartners-Google
Disallow:k

وفي السابق قلنا أن الملف يتكون من جزئيين الأول وهو عدم السماح أو المنع الثاني هو السماح وهما كلمتان :

Disallow المنع وAllow السماح، كلما وجدناهما الأن سوف نعرف الغاية من تواجدهم داخل هذا الملف.

  •  وبعد نبدأ في تقديم أوامر المنع والسماح ليصبح الملف كاملا على هذا الشكل: 


User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://www.yourSite.com/sitemap.xml

 

لاحظ هذا هو الملف الرسمي الذي تقدمه google بشكل تلقائي في موقعك، حسنا هل هذا يعني أن لا أعدل على هذا الملف وأن أتركه كما هو؟ الجواب نقول بحسب حالة كل موقع فإذا كان الموقع يعاني مثلاً من مشكلة تكرار الروابط فبالطبع يجب القيام ببعض التعديلات على ملف robots.txt وكذلك لو كانت لا ترغب في إظهار بعض الصفحات في محرك البحث أو ترغب في منع ظهور الصُّور على محرك البحث فلابد من هذا التعديل.

كل ما في الملف ثابت بين كل الملفات إلى أمرين:

  •  عنوان النطاق yourSite.com نقوم بتغيير اسم نطاق الموقع إلى اسم موقعنا.
  • ثم Disallow: /search هذا المنع الذي يختص بمنع روابط البحث التي يتم توليدها أثناء بحث الزائر عن أي كلمة داخل موقعك.
فنحن الآن نستطيع أن نضيف العديد من أوامر المنع عبر إضافة Disallow مرة أخرى وإعطاء أمر يتناسب مع ما نريد منعه من الظهور في محرك البحث.

منع تكرار الروابط من خلال robots.txt:

يمكنك الكشف عن ما إذا كان موقعك يقوم بتكرار الروابط عبر التنقل إلى google وكتابة رابط موقعك هناك مع site:
site:kkkkkkkkk.com
سوف تظهر معك كل الصفحات التي تم أرشفتها وبالطبع هنا سوف تتمكن من معرفة الروابط المكررة شاهد الصورة:


في الصورة مثال على طريقة الكشف من خلال موقعكم My-sl الأن ننظر إلى الروابط كلها فإن وجدنا أن الروابط كلها تنتهي بـ :

https://www.sssssssss.com/2021/08/blog-post_33.html
https://www.sssssssss.com/2021/08/blog-post_222.html?m=1
هذه هي النهاية السليمة للروابط الأولى للحاسوب والثانية نسخة الجوال وهذه الأخيرة لا مشكلة في تكرار روابطها لأنها روابط طبيعية ولا تأثر في شيء كما أنها سرعان ما تزول.

لكن لو وجدنا روابط تنتهي بـ :
http://www.sssssssss.com/2021/10/blog-post_224.html?m=0

هذه النهاية تعتبر رابط مكررا ولمنع كل هذه الروابط التي تنتهي بمثل هذه النهاية m=0? نقوم بإضافة سطر Disallow: /*?m=0 إلى برنامج robots.txt.

وقد تتكر الروابط بأحد النهايات s?m مثلاً نضيف: Disallow: /* s?m
لا يجب أن ننسى علامة * لأنها تابعة إلى التعليمة الأولى الثابتة وسوف نشاهد في النهاية شكل الملف.
 بهذا نقوم بالتخلص من تكرار الروابط على موقعك من خلال برنامج الروبوت.

منع روابط الأقسام عن طريق ملف روبوت:

لمنع الأقسام نستعمل نضيف سطر Disallow: / label
في كل قسم من أقسام الموقع يكون الرابط يظم كلمة label لهذا قمنا بإضافة هذا السطر الخاص بهذه الكلمة وهو شبيه بما قمنا أثناء منعنا صفحات search.
ماذا لو كنا نرغب في أن نمنع جميع الأقسام باستثناء قسم واحد ليكن مثلا اسم هذا القسم بـ seo:
تحت علامة Allow الثابتة نضيف Allow: /label/*seo
الان تم منع جميع الأقسام من غير قسم seo على موقعك.

نكون الأن قد تمكنا من معرفة كيفية عمل هذا الملف وأن أرى أن ملف robots.txt الأصلي هو المعتمد والذي أنصح به ما دام الموقع لا يوجد به أية مشاكل أما إذا كان بالموقع مشاكل أرشفة روابط search أو الروابط المكررة أو كنت أنت ترغب في إنشاء ملف يحجب شيء من هذا فأنصح بأن يكون الأمر بعناية وراسلني لأساعدك أو أكتب لنا تعليقا.
من هنا نعرف أنجيب على سؤال آخر إذا كان ملف robots.txt مقدّم من google بشكل تلقائي فما الفائدة من إضافته:

هل لا بد من إضافة ملف robots.txt أم الأصل عدم تفعيل الخيار:

في هذا الشأن تتكلم Google نفسها وتخبر أنه إذا لم نكن نحسن استعمال هذا الملف فالنقوم بترك خيار تفعيل الملف بدون تفعيل.
إذا هذا لا يعني أن ملف الروبوت غير ضروري كما ادعى البعض.

كيف أقوم بمعرفة ملف الروبوت تكست الذي يستعمله كل موقع:

لمعرفة هذا قم بالتوجه إلى خانة جديدة في المتصفح وقم بكتابة هذا:
https://www.kkkkkkkkkk.com/robots.txt
عليك بتغيير عنوان نطاق أو دومين URL إلى الموقع الذي ترغب به وسوف يظهر لك ملف الروبوت المستعمل.

كيفية الإضافة إلى بلوجر:

في bloogger في خانة الإعدادات نقوم بالنزول إلى برامج الزحف والفهرسة ثم:
تفعيل محتوى ملف robots.txt مخصص

الأن نضع الملف ونضغط حفظ.


كيفية التحقق من الملف واختباره في google search:


تعلمنا الان كيفية تقوم بإنشاء ملف robots.txt خطوة تلو أخرى وأن الأفضلية لا تختلف من شخص إلى آخر بل الأفضلية في إيجاد أفضل ملف يتناسب مع موقعك. وبالطبع لفعل هذا علينا أن نتابع الشرح بتمعن.

تعليقات

إرسال تعليق