Robot.txt File क्या है, कैसे यूज किया जाता हैं |Robot.txt File kya hain in Hindi

अगर आप एक ब्लोगर हैं या फिर आपने अभी ब्लॉगिंग की शुरुआत की है तो आपने वर्डप्रेस या ब्लॉगर में Robot.txt File के बारे में अवश्य सुना होगा. वैसे आपको रोबोट्स के बारे में तो पता ही होगा कि एक तरह की मशीन है जिसका काम आपके द्वारा दिए गए कमांड को फॉलो करना होता है. बता दें कि ठीक ऐसा ही काम Robot.txt File का होता है और इस तरह से आप जो भी कमांड इसको देंगे, यह डायरेक्ट उस कमांड को सर्च इंजन को आगे भेज देता है. यहां जानकारी के लिए बता दें कि सर्च इंजन का काम आपके पोस्ट या ब्लॉग को इंडेक्स करने के साथ-साथ लोगों के सर्च के अनुसार दिखाना होता है. ‌आज के इस आर्टिकल में हम आपको इसके बारे में सारी जानकारी विस्तारपूर्वक बताएंगे. ‌

Robot.txt File क्या होता है

आपको इसके नाम से ही अनुमान लग रहा होगा कि यह टेक्स्ट फाइल का एक एक्सटेंशन है जिसमें आप केवल टेक्स्ट ही लिख सकते हैं. बता दें कि इस टेक्स्ट फाइल में आप अपने ब्लॉग के बारे में यह लिख सकते हैं कि कौन सा पार्ट सर्च इंजन में दिखाना चाहते हैं और कौन सा नहीं. जैसे कि अगर आप अपने ब्लॉग से किसी पेज को सर्च इंजन में दिखाना चाहते हैं या फिर आप यह चाहते हैं कि आपका पेज सर्च इंजन में ना दिखे तो ऐसे में आप यह सब चीजें Robot.txt File में दें. इस प्रकार बाद में फिर जब सर्च इंजन जैसे गूगल, बिंग या याहू आपके पोस्ट को इंडेक्स करना आरंभ करेगा तो ऐसे में सर्च इंजन के पास Robot.txt File की ओर से एक निर्देश जाएगा जिसमें यह मैसेज होगा कि उस ब्लॉग की कौन सी चीजों को इंडेक्स करना है और कौन सी को नहीं. इस प्रकार इसका सबसे बड़ा फायदा यह होता है कि यह आपके ब्लॉग या पोस्ट को एसईओ (SEO) फ्रेंडली बनाता है जिससे सर्च इंजन आसानी के साथ यह समझ जाता है कि उसको कौन सा पार्ट इंडेक्स करना है और कौन सा नहीं करना है.‌

Robot.txt File से जुड़ी महत्वपूर्ण चीजें

हम आपको जानकारी दे रहे हैं कि Robot.txt File की कुछ महत्वपूर्ण चीजों के बारे में, जोकि फाइल में प्रयोग किए जाते हैं –

• अलाउ (Allow) – जब आप अपनी टेक्स्ट फाइल के अंदर किसी चीज को अलाउ (Allow) करेंगे तो इसका यह मतलब है कि आप उस पार्ट को सर्च इंजन में दिखाना चाहते हैं.
• डिसएलाऊ (disallow) – यदि आप अपने किसी पोस्ट को डिसएलाऊ करते हैं तो इसका यह मतलब है कि आप उसको सर्च इंजन में दिखाना नहीं चाहते.
• यूजर एजेंट (
  user agent) – इसकी सहायता से आप अपने ब्लॉग पर आने वाले लोगों को आप वह सब दिखा सकते हैं जो आप उन्हें दिखाना चाहते हैं जैसे- इमेज का सोर्स या फिर फाइल कहां सेव की है आदि.
• यूजर एजेंट मीडिया पार्टनर्स गूगल (user agent : MediaPartners Google) – आप इसका प्रयोग करके अपने ऐडसेंस कोड को विजिटर्स से छिपा सकते हैं. लेकिन आपको बता दें कि अगर आप इसको डिसएलाऊ करेंगे, तो फिर गूगल ऐडसेंस आपके ब्लॉग या साइट पर एड्स बिल्कुल भी नहीं दिखा सकेगा. बेहतर यही होगा कि इसे अलाउ ही रखें.

ब्लॉगर में Robot.txt File कैसे ऐड करें

यदि आप अपने ब्लॉगर में Robot.txt File ऐड करना चाहते हैं तो इसके लिए आपको सेटिंग में जाना होगा वहां पर सर्च प्रेफरेंसेस (search preferences) में आपको यह मिल जाएगा. ‌ध्यान रखें कि जब भी आप अपनी ब्लॉग को एससीओ फ्रेंडली बनाना चाहते हैं तो उस समय Robot.txt File का इस्तेमाल किया जाता है लेकिन अधिकतर लोग इसे ऐसे ही छोड़ देते हैं.‌ मगर यहां आपको एक बात बता दें कि ब्लॉगर में आप यदि इस विकल्प को ऐसे ही छोड़ देते हैं तो ब्लॉगर खुद ही आपके पोस्ट के लिए एक बेस्ट Robot.txt File क्रिएट कर देता है. लेकिन यहां आपको बता दें कि अगर आपने अपने ब्लॉग को ब्लॉगस्पॉट (blogspot) से वर्डप्रेस पर माइग्रेट किया है तो ऐसे में आपको इस फीचर का इस्तेमाल अवश्य करना चाहिए.

ब्लॉगर में Robot.txt File ऐड करने का तरीका

• इसके लिए सबसे पहले आपको ब्लॉगर की सेटिंग में जाना होगा और वहां पर सर्च प्रेफरेंसेस के लिंक पर क्लिक कर दें. उसके बाद Robot.txt File पर क्लिक करके एडिट का बटन दबा दें.
• अब यहां पर आपको अपनी वेबसाइट का साइटमैप कोड कॉपी करके बॉक्स के अंदर पेस्ट करना होगा.

इस प्रकार आप बहुत आसानी के साथ अपने ब्लॉगर में Robot.txt File को आसानी के साथ प्रयोग कर सकते हैं. वैसे हम आपको यही राय देंगे कि आप ब्लॉगर पर इस फीचर का प्रयोग ना ही करें तो ही आपके लिए बेहतर रहेगा और आप अगर आपकी वेबसाइट वर्डप्रेस पर है तब इस फीचर का इस्तेमाल जरूर करें.

वर्डप्रेस में Robot.txt File कैसे ऐड करें

• अगर आप वर्डप्रेस का प्रयोग करते हैं तो आप योस्ट एसईओ (Yoast SEO) के बारे में अवश्य ही जानते होंगे और आपने उसे इंस्टॉल भी किया हुआ होगा. तो आप अपनी वेबसाइट के योस्ट एसईओ में जाएं और टूल्स पर क्लिक करके फाइल एडिटर का बटन दबाएं.
• आप यहां अपनी वेबसाइट के साइटमैप को कॉपी करके पेस्ट कर दें और फिर सेव चेंजिंस टु रोबोट्स टेक्स्ट बटन दबा दें.

Robot.txt File कुछ अन्य जानकारी

फ़ाइल का नाम	Robot.txt File
कहां प्रयोग करते हैं	वेबसाइट में
किस लिए प्रयोग करते हैं	सर्च इंजनों को कमांड देने के लिए
इसको ऐड कैसे करते हैं	वर्डप्रेस योस्ट एसीओ के द्वारा और ब्लॉगस्पोट में गूगल खुद कर लेता है.

FAQ

Q : Robot.txt File का क्या काम होता है ?

Ans : सर्च इंजनों को कमांड देने का.  

Q : किसी वेबसाइट में Robot.txt File कहां मौजूद रहती है ?

Ans : वेबसाइट के रूट फोल्डर में.

Q : क्या ब्लॉग या वेबसाइट के लिए Robot.txt File का उपयोग आवश्यक होता है ?

Ans : जी हां.

Q : यदि Robot.txt Fileका प्रयोग ना किया जाए तो तब क्या होगा ?

Ans : ऐसे में सर्च इंजन सभी चीजों को इंडेक्स कर सकता है.

Q : Robot.txt File में यूज़ करना चाहिए या वर्डप्रेस में ?

Ans : वर्डप्रेस में.