क्रॉल बजट

विवरण : क्रॉल बजट किसी वेबसाइट पर एक निश्चित अवधि के भीतर Googlebot जैसे सर्च इंजन बॉट द्वारा क्रॉल और इंडेक्स किए जाने वाले पेजों की संख्या है। सर्च इंजनों के संसाधन सीमित होते हैं, इसलिए वे प्रत्येक वेबसाइट को एक "बजट" आवंटित करते हैं। यह बजट वेबसाइट की सर्वर गति, उसके अपडेट की आवृत्ति और उसकी समग्र विश्वसनीयता जैसे कारकों पर निर्भर करता है।

अगर कोई वेबसाइट धीरे-धीरे लोड होती है, उसमें कई रीडायरेक्ट होते हैं, या उसमें कई कम-मूल्य वाले URL पैरामीटर होते हैं, तो बॉट अपना आवंटित बजट जल्दी खर्च कर सकता है। नतीजतन, वह महत्वपूर्ण सामग्री खोजे या इंडेक्स किए बिना ही साइट छोड़ सकता है, जिससे खोज परिणामों में नए पेज दिखाई नहीं दे सकते।

उदाहरण : एक ऑनलाइन कपड़ों की दुकान उपयोगकर्ताओं को रंग, आकार, ब्रांड और कीमत के आधार पर उत्पादों को फ़िल्टर करने की सुविधा देती है। इस सेटअप से लाखों अद्वितीय URL बनते हैं। Googlebot महत्वपूर्ण श्रेणी पृष्ठों को इंडेक्स करने के बजाय इन अनगिनत फ़िल्टर विकल्पों पर ही अपना क्रॉल बजट बर्बाद कर देता है। इन कम महत्व वाले URL पर संसाधन खर्च होने के कारण, यह ब्रांड के हाल ही में लॉन्च किए गए "समर कलेक्शन" पेज को क्रॉल करने से चूक जाता है। परिणामस्वरूप, नए उत्पाद Google खोज परिणामों में दिखाई नहीं देते, जिससे दुकान को महत्वपूर्ण ऑर्गेनिक ट्रैफ़िक का नुकसान होता है।