شرح sitemap.xml وrobots.txt لصاحب النشاط: ما الفرق وكيف تستخدمهما

المقدمة

• كثير من أصحاب المواقع يسمعون من المطوّر أو شركة السيو عبارة «عندنا sitemap وrobots» دون أن يعرفوا ماذا يفعل كل ملف، وهل هما شيء واحد أم اثنان.
• الخلط بينهما مكلف: سطر واحد خاطئ في robots.txt قد يمنع محركات البحث من دخول الموقع كله، وخريطة موقع مليئة بالروابط المعطوبة تُضيّع وقت الزحف على صفحات لا قيمة لها.
• في هذا المقال نشرح الملفين بلغة مبسطة، ونعطيك طريقة فحص تستطيع تطبيقها اليوم دون كتابة سطر برمجة.

ما هو sitemap.xml؟

خريطة الموقع (sitemap.xml) ملف يسرد الصفحات التي تريد أن تعرفها محركات البحث، غالباً مع تاريخ آخر تعديل لكل صفحة. فكّر فيه كفهرس كتاب: لا يضمن أن تُقرأ كل صفحة، لكنه يسهّل على جوجل اكتشافها.

متى تكون الخريطة مهمة؟

• موقع جديد وروابطه الخارجية قليلة، فيصعب على جوجل الوصول إلى صفحاته عبر الروابط وحدها.
• موقع كبير أو فيه صفحات عميقة لا يصل إليها الزائر إلا بعد نقرات كثيرة.
• موقع يضيف محتوى باستمرار (مدونة، منتجات، خدمات).
• موقع بلغتين أو أكثر، حيث تساعد الخريطة على تنظيم نسخ الصفحات.

ما الذي يجب أن تحتويه؟

• الصفحات التي تريدها في نتائج البحث فقط: الرئيسية، الخدمات، المقالات، صفحات المنتجات والفئات.
• الروابط النهائية الصحيحة (بنسخة https ونطاقك المعتمد، وبلا تحويلات).
• صفحات تعطي استجابة سليمة (200) لا خطأ ولا تحويل.

ما الذي يجب ألا يكون فيها؟

• صفحات الشكر، وصفحات تسجيل الدخول، ولوحة التحكم، ونتائج البحث الداخلي.
• روابط محذوفة (404) أو محوّلة لرابط آخر.
• صفحات مكررة أو موسومة بـnoindex، فهذا تناقض: تقول للمحرك «اكتشفها» وفي الوقت نفسه «لا تفهرسها».

معلومة ثابتة: الملف الواحد يقبل حتى 50,000 رابط وبحجم لا يتجاوز 50 ميغابايت قبل الضغط. فوق ذلك يُقسَّم إلى عدة ملفات يجمعها ملف فهرس.

ما هو robots.txt؟

robots.txt ملف نصي بسيط في جذر النطاق (yoursite.com/robots.txt) يخبر برامج الزحف أي المسارات يُسمح لها بزيارتها وأيها لا. هو أشبه بلافتة عند الباب، وليس قفلاً: الزواحف الملتزمة (ومنها جوجل وبينج) تحترمه، لكنه لا يحمي المحتوى السري.

أهم الأوامر

مثال بسيط وآمن لموقع خدمات:

User-agent: *
Disallow: /admin/
Disallow: /cart/
Sitemap: https://yoursite.com/sitemap.xml

تحذير مهم: robots.txt ليس أداة إخفاء

• منع الزحف لا يعني منع الظهور: قد تظهر صفحة ممنوعة في النتائج كرابط بلا وصف إذا أشارت إليها مواقع أخرى.
• لإبقاء صفحة خارج النتائج استخدم وسم noindex داخل الصفحة، أو احمها بكلمة مرور. وانتبه: إن منعتَ الزحف عن صفحة فلن يرى جوجل وسم noindex فيها أصلاً.
• لا تضع في الملف مسارات سرية؛ فالملف علني يقرؤه الجميع.

الفرق بينهما في جدول واحد

كيف تفحص موقعك اليوم: قائمة عملية

1. افتح yoursite.com/robots.txt في المتصفح. إن رأيت Disallow: / تحت User-agent: * فتأكد أنه مقصود (يحدث كثيراً على موقع تجريبي ثم يُنقل للإنتاج كما هو).
2. تأكد من وجود سطر Sitemap: يشير إلى الرابط الصحيح بنسخة https.
3. افتح yoursite.com/sitemap.xml وتأكد أنه يُفتح بلا خطأ، وأن روابطه تخص نطاقك فقط.
4. اختر 5 روابط عشوائية منه وافتحها: يجب أن تعمل مباشرة بلا تحويل ولا صفحة خطأ.
5. في Google Search Console افتح قسم Sitemaps وأرسل الرابط إن لم يكن مُرسلاً، ثم راجع حالته وعدد الصفحات المكتشفة.
6. في تقرير فهرسة الصفحات راجع الصفحات «المستبعدة» وتأكد أن سبب استبعادها مقصود.
7. بعد أي نشر جديد أو تغيير في القوالب، أعد الفحص لأن الأعطال تأتي غالباً مع التحديثات.

ملاحظة للمواقع بلغتين

إن كان موقعك بالعربية والإنجليزية فتأكد أن خريطة الموقع تضم الصفحتين لكل محتوى مهم، وأن كل لغة لها رابط ثابت واضح. لا تمنع في robots.txt مسار إحدى اللغتين بالخطأ، وراجع الملفين بعد إضافة أي لغة جديدة.

أخطاء شائعة

• نقل Disallow: / من النسخة التجريبية إلى الموقع الحي: أشهر خطأ، ويُخفي الموقع تدريجياً.
• منع ملفات CSS وJavaScript: يحرم جوجل من رؤية الصفحة كما يراها الزائر، فيسيء فهم تصميمها وتوافقها مع الجوال.
• خريطة تضم كل شيء: صفحات تصفية ومعاملات وروابط مكررة تُشتت الزحف.
• نسيان تحديث الخريطة: صفحات جديدة لا تظهر فيها، أو صفحات قديمة محذوفة ما زالت موجودة.
• الاعتماد على robots.txt لإخفاء صفحة حساسة: الحل الصحيح مصادقة وصلاحيات، لا ملف علني.
• خرائط متعددة اللغات غير متسقة: رابط عربي في الخريطة بلا نظيره الإنجليزي، أو العكس.
• اعتبار الإرسال ضماناً للفهرسة: الخريطة اقتراح، وجوجل يقرر بحسب جودة الصفحة وأهميتها.

ماذا يفعل Xposio في هذا المجال؟

1. نبدأ بقراءة ملفَّي robots.txt وsitemap كما هما على موقعك الحي، لا كما يُفترض أن يكونا.
2. نتحقق من أن القواعد لا تمنع صفحات مهمة، وأن الخريطة لا تحوي روابط معطوبة أو محوّلة أو موسومة noindex.
3. نربط الفحص بـGoogle Search Console لنرى ما اكتشفه جوجل فعلاً وما استبعده وسبب ذلك.
4. نضبط الخريطة لتعكس هيكل موقعك ولغاته، ونوثّق ما غيّرناه حتى تعرف ما حدث.
5. نوضح لك بصراحة أن هذه الملفات تُحسّن الاكتشاف والزحف فقط، ولا تضمن الترتيب؛ فالترتيب يعتمد على جودة المحتوى والمنافسة وعوامل أخرى كثيرة.

رابط داخلي: تعرّف على خدمة السيو التقني عبر ‎/ar/services/technical-seo، وخدمة تحسين محركات البحث والظهور عبر ‎/ar/services/seo-search-visibility.

لمعرفة وضع موقعك الحالي يمكنك طلب تقرير اللمحة الرقمية عبر ‎/ar/report، أو الاطلاع على نماذج التقارير في ‎/ar/reports.

الخلاصة

• sitemap.xml يقترح ما تريد اكتشافه، وrobots.txt يحدد أين يُسمح بالزحف؛ هما ملفان مختلفان يكمل أحدهما الآخر.
• ضع في الخريطة الصفحات النظيفة المهمة فقط، وأبعد عنها المحذوف والمكرر والموسوم noindex.
• لا تستخدم robots.txt لإخفاء المحتوى؛ استخدم noindex أو كلمة مرور بحسب الحالة.
• افحص الملفين بعد كل نشر، فأخطر الأعطال تأتي مع نقل موقع تجريبي إلى الإنتاج.
• أرسل الخريطة في Google Search Console وراقب ما يُستبعد وسببه.
• وجود الملفين سليمين شرط للظهور وليس ضماناً له.

قراءات مرتبطة

• ‎/ar/blog/technical-seo-audit-checklist
• ‎/ar/blog/google-search-console-guide
• ‎/ar/blog/measure-seo-success