ملف robots.txt هو أحد الأدوات الأساسية في تحسين محركات البحث (SEO) والذي يمكن أن يؤثر بشكل كبير على كيفية تفاعل محركات البحث مع موقعك، فهم كيفية إعداد واستخدام هذا الملف بشكل صحيح يمكن أن يوفر لك السيطرة الكاملة على الزحف إلى صفحات موقعك، مما يحسن أداء الموقع في نتائج البحث ويضمن فهرسة الصفحات الهامة فقط. في هذا المقال، سنستعرض بالتفصيل ما هو ملف robots.txt، كيفية إنشائه وإدارته، وأفضل الممارسات لضبط إعداداته لتحقيق أفضل النتائج.

ما هو ملف robots.txt وما فائدته؟

ملف robots.txt هو ملف نصي يستخدمه أصحاب المواقع لتنظيم عملية وصول محركات البحث إلى صفحات موقعهم، ويتضمن هذا الملف مجموعة من الأوامر التي توجه عناكب البحث (مثل Googlebot) حول الصفحات أو الأقسام التي يمكن أو لا يمكن الوصول إليها.

أهمية استخدام ملف robots.txt

يعتبر ملف robots.txt أداة حيوية في إدارة كيفية تفاعل محركات البحث مع موقعك، وباستخدام هذا الملف يمكنك توجيه العناكب لتجاهل صفحات معينة، مما يساعد على تحسين أداء الموقع وتحسين ترتيب الصفحات الهامة في نتائج البحث.

وتعتبر الفائدة الرئيسية لملف robots.txt هي التحكم في الزحف (Crawling Control)، حيث يمكن أصحاب المواقع من تحسين معدل الزحف لموقعهم، مما يضمن أن العناكب لا تستهلك الكثير من موارد الخادم أثناء فهرسة الصفحات غير الهامة أو المكررة.

محتويات ملف robots.txt

الأوامر الأساسية في ملف robots.txt

ملف robots.txt يحتوي على أوامر بسيطة توجه العناكب، ومن الأوامر الأساسية:

  • User-agent: تحديد نوع العنكبوت (مثل Googlebot).
  • Disallow: تحديد الصفحات أو الأقسام التي لا يجب للعناكب الوصول إليها.
  • Allow: تحديد الصفحات أو الأقسام التي يمكن للعناكب الوصول إليها، حتى لو كانت ضمن مجلد مرفوض بشكل عام.

أمثلة على محتويات ملف robots.txt

User-agent: *
Disallow: /admin/
Allow: /admin/public/
txt

في هذا المثال، كل العناكب تم الإشاره إليها بـ (*) ، وممنوعة من الوصول إلى مجلد /admin/ باستثناء الملفات في /admin/public/.

أين يوجد ملف “robots.txt” علي موقعي؟

يمكن الوصول إلى ملف “robots.txt” لأي موقع إلكتروني أياً كانت البرمجة التي يعمل بها عن طريق إضافة “/robots.txt” إلى نهاية عنوان URL الخاص بالموقع.

على سبيل المثال، إذا كان موقعك هو “example.com”، يمكنك الوصول إلى ملف “robots.txt” عبر الرابط “http://example.com/robots.txt”.

كيفية تحرير ملف robots.txt في موقعي

يمكنك تحرير الملف باستخدام أي محرر نصوص مثل Notepad أو Visual Studio Code. إذا كان لديك وصول إلى لوحة التحكم الخاصة بموقعك (مثل cPanel أو Plesk)، يمكنك استخدام مدير الملفات للوصول إلى الدليل الجذر وتحرير الملف.

تختلف طريقة تحرير ملف robots.txt اعتمادًا على حسب نظام إدارة المحتوى الذي تستخدمه، فيما يلي دليل مُفصل لكل منصة من المنصات الشهيره (ووردبريس، بلوجر، أو سلة لإدارة المتاجر):

تحرير ملف Robots.txt في ووردبريس

باستخدام إضافات SEO:

Yoast SEO: اذهب إلى “SEO” ثم “Tools” ثم اختر “File Editor”. ستجد خيار تحرير ملف robots.txt هناك.

Rank Math: اذهب إلى “Rank Math” ثم “General Settings” واختر “Edit robots.txt”.

تحرير يدوي عبر FTP:

  1. ادخل إلى موقعك باستخدام برنامج FTP مثل FileZilla.
  2. ابحث عن ملف robots.txt في المجلد الرئيسي لموقعك (عادةً في جذر الموقع).
  3. إذا لم تجد الملف، يمكنك إنشاء ملف نصي جديد باسم robots.txt ورفعها إلى المجلد الرئيسي.

تحرير ملف Robots.txt عبر Cpanel

  1. قم بتسجيل الدخول إلى Cpanel الخاص بموقعك.
  2. اذهب إلى “File Manager”.
  3. ابحث عن ملف robots.txt في المجلد الرئيسي (public_html).
  4. إذا لم تجد الملف، يمكنك إنشاء ملف نصي جديد باسم robots.txt.
  5. قم بتحرير الملف وأدخل التعليمات المطلوبة، ثم احفظ التغييرات.

إنشاء وتحرير ملف robots.txt لموقعك الإلكتروني

توجد 3 طرق لإنشاء ملف خاص بموقعك الإلكتروني

1. كتابة أكواد ملف robots.txt بنفسك

يمكنك إنشاء الملف وكتابة الأكواد بنفسك باستخدام أي محرر نصوص مثل Notepad أو Visual Studio Code، إذا كان لديك وصول إلى لوحة cPanel الخاصة بموقعك واستخدام مدير الملفات لرفع الملف إلى الدليل الجذر وتحرير الملف

  1. افتح برنامج Notepad.
  2. اكتب الأوامر المطلوبة (مثال أعلاه).
  3. احفظ الملف باسم robots.txt.
  4. قم بتسجيل الدخول إلى Cpanel الخاص بموقعك.
  5. اذهب إلى “File Manager”.
  6. قم برفع الملف إلى المجلد الرئيسي (public_html).

في النهاية يجب عليك التأكد من صحة التغييرات عن طريق زيارة الرابط “example.com/robots.txt” على موقعك.

2. إنشاء ملف robots.txt عبر أداة مولد robots.txt

هناك العديد من الأدوات المتاحة على الإنترنت لتوليد ملفات robots.txt. قم بإدخال الإعدادات الخاصة بموقعك، وسيتم توليد الملف تلقائيًا.

هناك العديد من الأدوات المتاحة على الإنترنت لتوليد ملفات robots.txt مثل أداة SEOptimer Robots.txt Generator، كل ما عليك فعله هو إدخال الإعدادات الخاصة بموقعك، وستقوم الأداة بإعداد الملف نيابةً عنك. من أبرز مزايا استخدام هذه الأدوات سهولة الاستخدام وتوفير الوقت، بينما قد تكون من عيوبها عدم توفير نفس مستوى التحكم الدقيق المتاح عند كتابة الملف يدويًا.

كيفية إستخدام مولد الملف robots.txt

  • زيارة موقع SEOptimer واستخدام الرابط المباشر لمولد ملف robots.txt.
  • إدخال المعلومات المطلوبة حول موقعك لتحديد الأجزاء التي يمكن لمحركات البحث فهرستها والأجزاء التي يجب منعها.
  • إضافة أوامر مخصصة لـ User-agents محددة (مثل Googlebot) باستخدام تعليمات “Allow” و “Disallow” لتحديد المسارات المسموحة أو المحظورة.
  • الضغط على زر “Generate” لتوليد ملف robots.txt بناءً على الإعدادات المدخلة.
  • تنزيل الملف الناتج وتحميله إلى المجلد الرئيسي لموقعك (public_html) باستخدام برنامج FTP أو لوحة التحكم (Cpanel).

بعد إتمام عملية التوليد ورفع الملف إلى جذر موقعك، يُنصح بزيارة الرابط “example.com/robots.txt” على موقعك للتحقق من صحة التعديلات وضمان تطبيقها بشكل صحيح.

3. إنشاء ملف robots.txt بواسطة الإضافات على ووردبريس

في ووردبريس، يمكنك بسهولة إنشاء وتحرير ملف “robots.txt” باستخدام إضافات (Plugins) شائعة مثل Yoast SEO، All in One SEO Pack، وRank Math SEO. نستعرض معكم في السطور التالية كيفية إنشاء وتحرير ملف “robots.txt” باستخدام هذه الإضافات.

أولاً: إنشاء ملف “robots.txt” باستخدام Yoast SEO

  1. قم بتسجيل الدخول إلى لوحة التحكم في ووردبريس.
  2. انتقل إلى إضافات > أضف جديد.
  3. ابحث عن “Yoast SEO” وثبت المكون الإضافي، ثم قم بتفعيله.
  4. بعد تفعيل Yoast SEO، اذهب إلى Yoast SEO > أدوات > محرر الملفات.
  5. إذا لم يكن ملف “robots.txt” موجودًا، يمكنك النقر على “إنشاء ملف robots.txt” لإنشائه.
  6. أدخل القواعد التي تريدها في الملف، مثل السماح أو منع الوصول إلى صفحات معينة.
  7. احفظ التغييرات بعد التعديل.

ثانياً: إنشاء ملف “robots.txt” باستخدام All in One SEO Pack

  1. سجل الدخول إلى لوحة التحكم في ووردبريس.
  2. انتقل إلى إضافات > أضف جديد.
  3. ابحث عن “All in One SEO Pack” وثبت المكون الإضافي، ثم قم بتفعيله.
  4. بعد التفعيل، اذهب إلى All in One SEO > إدارة الميزات وقم بتمكين ميزة “مدير الملفات”.
  5. انتقل إلى All in One SEO > مدير الملفات.
  6. إذا لم يكن ملف “robots.txt” موجودًا، انقر على “إنشاء ملف robots.txt”.
  7. أضف القواعد اللازمة في الملف واحفظ التغييرات.

ثالثاً: إنشاء ملف “robots.txt” باستخدام Rank Math SEO

  1. سجل الدخول إلى لوحة التحكم في ووردبريس.
  2. انتقل إلى إضافات > أضف جديد.
  3. ابحث عن “Rank Math SEO” وثبت المكون الإضافي، ثم قم بتفعيله.
  4. بعد التفعيل، اذهب إلى Rank Math > لوحة التحكم وقم بتمكين وحدة “مدير الملفات”.
  5. انتقل إلى Rank Math > إعدادات عام > محرر الملفات.
  6. انقر على تبويب “robots.txt”.
  7. إذا لم يكن ملف “robots.txt” موجودًا، انقر على “إنشاء ملف robots.txt”.
  8. أضف القواعد التي تريدها في الملف واحفظ التغييرات.

تحرير ملف Robots.txt في بلوجر

عبر لوحة تحكم بلوجر:

  1. اذهب إلى “Settings” ثم “Crawlers and Indexing”.
  2. قم بتمكين خيار “Custom robots.txt”.
  3. أدخل التعليمات الخاصة بك في المربع النصي واضغط “Save”.

إختبار ملف robots.txt

أدوات لاختبار صحة ملف robots.txt

هناك العديد من الأدوات المتاحة لاختبار ملف robots.txt مثل أداة Google Search Console و Robots.txt Tester.

خطوات اختبار الملف والتحقق من فعاليته

  1. اذهب إلى Google Search Console.
  2. افتح أداة Robots.txt Tester.
  3. قم بإدخال عنوان URL لملف robots.txt الخاص بك.
  4. تحقق من الأخطاء والتعديلات المطلوبة.

ضبط الأوامر في ملف robots.txt

كيفية كتابة الأوامر الصحيحة في ملف robots.txt

تأكد من استخدام الأوامر بشكل صحيح وفقًا لمتطلبات موقعك. ابدأ بتحديد نوع العنكبوت باستخدام User-agent، ثم استخدم Disallow وAllow لتحديد الصفحات المسموح أو الممنوع الوصول إليها.

نصائح لضبط الأوامر بشكل فعال

  • حدد الصفحات التي تحتوي على محتوى مكرر لتجنب فهرستها.
  • امنع العناكب من الوصول إلى ملفات الإعدادات والبيانات الحساسة.
  • اسمح للعناكب بفهرسة الصفحات الهامة لتحسين ترتيبها في نتائج البحث.

مثال عملي على الأوامر التي يجب أن يحتويها ملف robots.txt (يمكنك تطبيقه على موقعك)

مثال تطبيقي للأوامر

User-agent: *
Disallow: /private/
Allow: /public/
txt

كيفية تخصيص المثال ليلائم موقعك

قم بتحديد الصفحات والمجلدات الخاصة بموقعك التي ترغب في فهرستها أو عدم فهرستها وتعديل الأوامر وفقًا لذلك.

الإعدادات الصحيحة لملف “robots.txt” لمن يمتلك متجر إلكتروني على ووكومرس

إعدادات مخصصة لمتاجر ووكومرس

تحتاج متاجر ووكومرس إلى إعدادات خاصة لضمان عدم فهرسة صفحات العربة، والحساب، والخروج.

أمثلة على الأوامر المناسبة لمتاجر ووكومرس

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
txt

أفضل الممارسات المتبعة في إعداد ملف robots.txt

نصائح لتحسين إعدادات ملف robots.txt

  • تأكد من عدم منع العناكب من الوصول إلى الصفحات الهامة.
  • قم بتحديث الملف بانتظام لمواكبة تغييرات الموقع.
  • اختبر الملف بانتظام باستخدام أدوات الاختبار المتاحة.

أخطاء شائعة يجب تجنبها

  • منع جميع العناكب من الوصول إلى الموقع بالكامل.
  • السماح بفهرسة الصفحات المكررة أو ذات المحتوى الضعيف.
  • عدم تحديث الملف بعد إجراء تغييرات كبيرة في بنية الموقع.

إرسال ملف robots.txt إلى Google

خطوات إرسال الملف إلى Google

  1. اذهب إلى Google Search Console.
  2. افتح قسم “مراجعة الملف robots.txt”.
  3. قم بتحميل ملف robots.txt الخاص بك.
  4. تحقق من الأخطاء والتعديلات المطلوبة.

التحقق من استلام الملف بواسطة Google

بعد تحميل الملف، قم باستخدام أدوات Google Search Console للتحقق من استلام وفهرسة الملف بشكل صحيح.

باتباع هذه الخطوات والنصائح، يمكنك تحسين إعدادات ملف robots.txt الخاص بموقعك لضمان فهرسة أفضل وتحسين أداء الموقع في نتائج البحث.