Генеруйте XML sitemap для SEO. Додавайте URL з пріоритетом та частотою змін, потім завантажуйте файл sitemap.