ما هو ملف Robots.txt؟
تتمثل مهمة ملف robots.txt في تقييد وصول روبوتات Google ومحركات البحث الأخرى إلى محتوى موقعك. تعمل برامج الروبوت هذه تلقائيًا تمامًا وقبل الدخول إلى أي موقع أو صفحة ، فإنها تتأكد من وجود ملف robots.txt عليها وأن الوصول إلى المحتوى غير مقيد. تحترم جميع برامج الروبوت القياسية على الإنترنت هذه القواعد والقيود ولن تقوم بزيارة صفحاتك وفهرستها ، لكن الروبوتات المزعجة لن تهتم بهذا الملف. إذا كنت ترغب في تأمين محتوى معين وإخفائه من روبوتات الإنترنت ، فمن الأفضل استخدام كلمات مرور الصفحة.
عمليًا ، يتيح لك استخدام ملف robots.txt تصميم صفحات الموقع لمستخدمي الإنترنت فقط وعدم الخوف من تكرار المحتوى.
ليس لديك الكثير من الروابط على تلك الصفحة ولها تأثير سلبي على تحسين محركات البحث. كما يسمح لك بإخفاء الصفحات غير المرغوب فيها وذات المحتوى المنخفض من محركات البحث حتى لا تضيع الروبوتات الوقت على موقعك لفهرسة هذه الصفحات.
إنك تستخدم ملف robots.txt فقط عندما تريد تقييد برامج الروبوت الخاصة بـ Google ، ولن تحتاج إلى هذا الملف إذا كنت تعتقد أن جميع الصفحات الموجودة على الموقع تتمتع بالقدرة والقيمة ليتم فهرستها بواسطة Google. ليس من الضروري حتى إدخال ملف فارغ بنفس الاسم.
لإدراج ملف robots.txt ، يلزمك الوصول إلى المضيف ونسخه إلى الجذر. إذا تم تقييد وصولك إلى الخادم لأي سبب من الأسباب ، فيمكنك تقييد وصول الروبوت إليه عن طريق وضع العلامات الوصفية في رأس الصفحة.
شاهد هذا الفيديو لمعرفة خطوة بخطوة لعمل خريطة ونشر موقعك في بلوجر وجميع المواضيع الى محرك بحث جوجل تلقائيا وبدون تدخل منك
- رابط تحميل ملف Txt الاول خاص بالخريطة sitemap : اضغط هنا للتحميل
- رابط تحميل ملف Txt الثاني خاص robot : اضغط هنا للتحميل