إنشاء ملفات robots.txt للتحكم في الزحف من قبل محركات البحث. إضافة قواعد السماح/المنع ومراجع خريطة الموقع.