تعرف علي اهمية انشاء ملف robots.txt في 2023 | خطوة تك

انشاء ملف robots.txt يحدد الصفحات التي يمكن للروبوتات زيارتها او لا. فباستخدام عدة أوامر في الملف، يمكن لأصحاب المواقع تحديد الصفحات المراد حظرها عن الزحف،

https://khatwatech.com/%d8%a7%d9%86%d8%b4%d8%a7%d8%a1-%d9%85%d9%84%d9%81-robotstxt/