بسم الله الرحمن الرّحيم
والصّلاة والسّلام على أشرف الأنبياء والمرسلين ، محمّداً عليه أفضل الصلوات وأزكى التسليم .
زوّار ومحبّي وعشّاق مدونة ميدو للمعلوميات
أهلاً وسهلاً ومرحباً بكم جميعاً ، وبعد :
في هته التدوينية بمشيئة الله تعالى سأشرح لكم ( وهنا أقصد أصحاب المواقع والمدونات ) ماهية ملف الروبوتس Robots.txt وأهميته لأرشفة صفحات المواقع والمدونات ، لأن البعض منكم لا يفهم معنى هذا الملف ووظيفته ، سنبدأ بشرح هذا الملف ، تابعوا معي جيّداً :
1 - التعريف بملف Robots.txt :
معنى الكلمة الحرفي هو ( الرجل الآلي ) ، وهو عبارة عن ملف يتم تفعيله في مدونتك أو موقعك الإلكتروني يحتوي على مجموعة من الأكواد البرمجية ، هذا الملف يسهّل وصول محرّكات البحث العالمية لروابط وأقسام موقعك ، ويتضمّن هذا الملف بروتوكول Robots Exclusion Standard الذي بدوره يحتوي على مجموعة صغيرة من الأوامر التي يُمكن إستخدامها في زحف محركات البحث لمدونتك او موقعك الإلكتروني .
2 - لماذا يتم استخدام robots.txt ؟ أو ماهي وظيفة هذا الملف ؟
يتمّ إستخدام ملف الروبوتس Robots.txt في المواقع بشكل ضروري ، لأنّه يتيح لمحركات البحث الزحف نحو صفحات موقعك وتنظيمها وأرشفتها بشكل سليم ، سوء إستخدام ملف Robots.txt قد يؤدّي بأرشفة مختلطة وإخفاء بعض الصفحات من محركات البحث .
تتمثّل وظيفة ملف الروبوتس Robots.txt في كونه يُحيل أقسام وروابط موقعك وتقديمها لمحركات البحث في شكل منظّم من خلال المحاكاة بينهما وبالتالي زحف هته المحركات لموقعك ، كما يمكنك استخدام robots.txt لحظر ملفات الموارد مثل الصور أو النصوص البرمجية أو ملفات الأنماط غير المهمة .
3 - بنية ملف الروبوتس Robots.txt :
يستخدم ملف robots.txt كلمتين رئيسيتين وهما User-agent و Disallow ، فهما يعدّان وكلاء المستخدم لبرامج زحف الويب ؛ ويتم إدراج معظم وكلاء المستخدم في قاعدة بيانات برامج روبوت الويب .
4 - أوامر حظر عناوين URL التي يتم استخدامها في ملف robots.txt :
5 - قواعد مطابقة الأنماط لتبسيط شفرة robots.txt :
ملاحظة :
إذا أردت منع معظم برامج زحف الويب لمحركات البحث من فهرسة صفحة على موقعك، فضع العلامة الوصفية التالية في قسم <head> في قالب مدونتك او في ملف الروبوتس في إستضافة موقعك :
<meta name="robots" content="noindex">
إذا أردت منع برامج زحف الويب من Google فقط من فهرسة صفحة معينة :
<meta name="googlebot" content="noindex">
يجب أن تعلم أن بعض برامج زحف الويب لمحركات البحث قد تفسر أمر noindex بشكل مختلف . ونتيجة لذلك من المحتمل أن يستمر ظهور صفحتك في النتائج من محركات البحث الأخرى .
مدونة ميدو للمعلوميات
