Robots.txt என்றால் என்ன? Website SEO-க்கு அது ஏன் முக்கியம்? – Beginner Guide in Tamil
Robots.txt என்றால் என்ன? Website SEO-க்கு அது ஏன் முக்கியம்? – Beginner Guide in Tamil
Updated & Reviewed: November 2026
ஒரு website-ல் நூற்றுக்கணக்கான pages, images, labels, archive pages போன்ற URLs இருக்கலாம். Google போன்ற Search Engines அவற்றை கண்டுபிடிக்க web crawlers அல்லது bots-ஐ பயன்படுத்துகின்றன.
ஆனால் ஒரு website owner, “இந்த பகுதிகளை crawl செய்யலாம்; இந்த பகுதிகளை crawl செய்ய வேண்டாம்” என்று Search Engine crawlers-க்கு தெரிவிக்க வேண்டிய சூழல் இருக்கலாம்.
அதற்குப் பயன்படும் முக்கியமான file தான் robots.txt.
இந்த பதிவில் robots.txt என்றால் என்ன, அது எப்படி வேலை செய்கிறது, User-agent, Allow, Disallow, Sitemap என்பவை என்ன, Blogger website owners என்ன தெரிந்துகொள்ள வேண்டும் என்பதைக் beginner-friendly முறையில் பார்க்கலாம்.
Table of Contents
- Robots.txt என்றால் என்ன?
- Robots.txt எப்படி வேலை செய்கிறது?
- Robots.txt எங்கே இருக்கும்?
- User-agent என்றால் என்ன?
- Disallow மற்றும் Allow என்றால் என்ன?
- Sitemap robots.txt-ல் ஏன் சேர்க்கப்படுகிறது?
- Robots.txt மற்றும் Google Indexing ஒன்றா?
- Robots.txt vs Noindex
- Blogger-ல் robots.txt
- தவிர்க்க வேண்டிய Robots.txt தவறுகள்
- Robots.txt SEO-க்கு உதவுமா?
- Robots.txt Best Practices
- FAQ
- Conclusion
Robots.txt என்றால் என்ன?
robots.txt என்பது Search Engine crawlers ஒரு website-ன் எந்த URL பகுதிகளை crawl செய்யலாம் அல்லது crawl செய்யக்கூடாது என்பதை அறிவுறுத்தும் text file ஆகும்.
Googlebot போன்ற crawler ஒரு website-ஐ crawl செய்வதற்கு முன்பு அதன் robots.txt விதிகளைப் பார்க்கலாம்.
உதாரணமாக:
User-agent: *
Disallow: /private/
இதன் பொருள்:
User-agent: *→ அனைத்து crawlers-க்கும் இந்த விதி பொருந்தும்.Disallow: /private/→/private/path-ஐ crawl செய்ய வேண்டாம்.
Google-ன் documentation படி robots.txt-ல் user-agent, allow, disallow, sitemap போன்ற fields ஆதரிக்கப்படுகின்றன.
Google-ன் official robots.txt specification-ஐ பார்க்க: Google – How Google interprets robots.txt
Robots.txt எப்படி வேலை செய்கிறது?
ஒரு Search Engine bot உங்கள் website-க்கு வரும்போது பொதுவாக robots.txt rules-ஐ படித்து, crawler-க்கு பொருந்தும் விதிகளின் அடிப்படையில் எந்த URL paths-ஐ access செய்யலாம் என்பதை தீர்மானிக்கிறது.
எளிய workflow:
Crawler → robots.txt → Rules Check → Allowed URLs → Crawl
உதாரணமாக:
User-agent: *
Allow: /
இங்கு website முழுவதையும் crawl செய்வதற்கு தடையில்லை.
ஆனால்:
User-agent: *
Disallow: /
என்று இருந்தால் அந்த user-agent-க்கு website முழுவதையும் crawl செய்ய வேண்டாம் என்ற instruction ஆகும்.
எனவே robots.txt code-ஐ புரியாமல் மாற்றுவது நல்லதல்ல.
Robots.txt எங்கே இருக்கும்?
பொதுவாக robots.txt website-ன் root level-ல் இருக்கும்.
உதாரணம்:
https://example.com/robots.txt
உங்கள் domain பெயருக்குப் பிறகு /robots.txt சேர்த்து browser-ல் திறந்து பார்க்கலாம்.
Robots.txt ஒரு குறிப்பிட்ட host/protocol-க்கு பொருந்தும் என்பதால் அதன் location முக்கியமானது.
User-agent என்றால் என்ன?
User-agent என்பது robots.txt rule எந்த crawler-க்கு பொருந்துகிறது என்பதை குறிப்பிடுகிறது.
உதாரணம்:
User-agent: Googlebot
இது Googlebot-ஐ குறிப்பிடுகிறது.
User-agent: *
இங்கு * பொதுவாக அனைத்து crawlers-ஐ குறிக்கிறது.
இதற்குப் பிறகு Allow அல்லது Disallow rules கொடுக்கப்படலாம்.
Disallow மற்றும் Allow என்றால் என்ன?
Disallow
ஒரு குறிப்பிட்ட URL path-ஐ crawler crawl செய்ய வேண்டாம் என்று தெரிவிக்க பயன்படுகிறது.
User-agent: *
Disallow: /example/
Allow
ஒரு URL path-ஐ crawler access செய்ய அனுமதிக்கும் rule.
User-agent: *
Allow: /example/public/
Google robots.txt specification-ல் allow மற்றும் disallow இரண்டும் supported rules ஆக உள்ளன.
Sitemap robots.txt-ல் ஏன் சேர்க்கப்படுகிறது?
robots.txt file-ல் sitemap location-ஐ குறிப்பிடலாம்.
உதாரணமாக:
Sitemap: https://example.com/sitemap.xml
இதன் மூலம் crawler-க்கு sitemap எங்கு உள்ளது என்பதை தெரிவிக்க முடியும்.
Google மட்டுமல்லாமல் Bing உள்ளிட்ட முக்கிய Search Engines-மும் robots.txt-ல் sitemap field-ஐ ஆதரிக்கின்றன.
Robots.txt மற்றும் Google Indexing ஒன்றா?
இல்லை.
இது beginners புரிந்துகொள்ள வேண்டிய மிக முக்கியமான விஷயம்.
Crawling என்பது Search Engine bot ஒரு URL-ஐ access செய்து அதன் content-ஐ பார்ப்பது.
Indexing என்பது அந்த content-ஐ Search Engine தனது index-ல் process/store செய்து Search results-க்கு பயன்படுத்தும் செயல்முறையை குறிக்கிறது.
அதனால்:
robots.txt = முக்கியமாக crawling control
அதை “Google Search-ல் இருந்து page-ஐ delete செய்யும் tool” என்று நினைக்கக்கூடாது.
ஒரு URL robots.txt மூலம் crawl செய்யப்படாமல் இருந்தாலும், சில சூழல்களில் அந்த URL பற்றிய தகவலை Google வேறு வழிகளில் கண்டுபிடித்து Search results-ல் URL மட்டும் காட்டக்கூடும்.
Google Search Console-ல் ஒரு URL எந்த indexing நிலையில் உள்ளது என்பதைப் புரிந்துகொள்ள, GSC Page Indexing Status பற்றிய DigiHubTamil guide-ஐ படிக்கவும்.”
Robots.txt vs Noindex
இரண்டும் ஒன்றல்ல.
robots.txt
→ Crawling-ஐ control செய்ய பயன்படுகிறது.
noindex
→ Search Engine-க்கு page-ஐ index செய்ய வேண்டாம் என்று தெரிவிக்க பயன்படுகிறது.
ஒரு page-ஐ Google Search results-ல் காட்டக்கூடாது என்பதற்காக robots.txt-ஐ மட்டும் பயன்படுத்துவது சரியான அணுகுமுறை அல்ல.
மேலும், Google ஒரு page-ன் noindex directive-ஐ பார்க்க வேண்டுமெனில் அந்த page-ஐ crawl செய்ய இயல வேண்டும். எனவே noindex page-ஐ robots.txt மூலம் block செய்வது எதிர்பார்த்தபடி செயல்படாமல் போகலாம்.
Blogger-ல் Robots.txt
Blogger பயன்படுத்துபவர்கள் robots.txt settings-ஐ மிகவும் கவனமாக கையாள வேண்டும்.
SEO பற்றி தெரியாமல் இணையத்தில் கிடைக்கும் random robots.txt code-ஐ copy-paste செய்வதைத் தவிர்க்கவும்.
தவறான:
Disallow: /
போன்ற rule முக்கியமான pages-ஐ Search Engine crawler access செய்வதைத் தடுக்கக்கூடும்.
அதனால் Blogger-ல் custom robots.txt மாற்றுவதற்கு முன்:
- தற்போதைய robots.txt-ஐ சரிபார்க்கவும்
- எந்த URLs block செய்யப்படுகின்றன என்பதைப் புரிந்துகொள்ளவும்
- முக்கிய article URLs crawl செய்யப்படுகிறதா பார்க்கவும்
- Google Search Console URL Inspection பயன்படுத்தவும்
Google-ன் Search documentation கூட important pages Google-க்கு accessible ஆகவும் robots.txt அல்லது noindex மூலம் தவறுதலாக block செய்யப்படாமல் இருக்கவும் பரிந்துரைக்கிறது.
Google Search crawling/indexing தொடர்பான official documentation:
Google Search Central Documentation
Robots.txt-ல் தவிர்க்க வேண்டிய தவறுகள்
1. முழு Website-ஐ தவறுதலாக Block செய்வது
User-agent: *
Disallow: /
இந்த rule மிகவும் கவனமாக பயன்படுத்தப்பட வேண்டும்.
2. முக்கியமான Articles-ஐ Block செய்வது
Google Search-ல் வரவேண்டிய content crawler-க்கு accessible ஆக இருப்பது முக்கியம்.
3. Robots.txt = Noindex என்று நினைப்பது
Robots.txt crawling control மற்றும் indexing control இரண்டும் வேறு concepts.
4. Random SEO Code Copy செய்வது
YouTube அல்லது blog ஒன்றில் இருக்கும் robots.txt code உங்கள் website-க்கும் சரியாக இருக்கும் என்று கருதக்கூடாது.
5. மாற்றிய பிறகு Check செய்யாமல் விடுவது
Robots.txt மாற்றம் செய்த பிறகு important URLs Google-க்கு accessible-ஆக உள்ளதா சரிபார்க்க வேண்டும்.
Robots.txt SEO-க்கு உதவுமா?
Robots.txt ஒரு direct ranking trick அல்ல.
ஆனால் website crawling-ஐ சரியாக நிர்வகிப்பதில் இது உதவுகிறது.
பெரிய websites-ல் தேவையில்லாத URL sections-ஐ crawl செய்வதை நிர்வகிக்க robots.txt பயன்படலாம். அதே நேரத்தில் முக்கிய content-ஐ தவறாக block செய்தால் SEO பிரச்சினைகளும் ஏற்படலாம்.
எனவே robots.txt-ஐ “ranking அதிகரிக்கும் code” என்று பார்க்காமல் crawler management tool என்று புரிந்துகொள்வது சரியானது.
“Technical SEO-வில் crawling, indexing போன்ற அம்சங்கள் முக்கியமானவை; மேலும் அறிய Technical SEO என்றால் என்ன? guide-ஐ படிக்கவும்.”
Robots.txt Best Practices
Robots.txt பயன்படுத்தும்போது இந்த அடிப்படை விதிகளை நினைவில் வைத்துக்கொள்ளுங்கள்:
- முக்கிய articles crawl செய்யப்படுவதை உறுதி செய்யுங்கள்.
Disallow: /போன்ற rules-ஐ கவனமாக பயன்படுத்துங்கள்.- robots.txt மற்றும்
noindexவித்தியாசத்தை புரிந்துகொள்ளுங்கள். - Sitemap location சரியாக இருக்கிறதா பார்க்கவும்.
- Google Search Console மூலம் important URLs-ஐ inspect செய்யுங்கள்.
- Internet-ல் கிடைக்கும் random robots.txt templates-ஐ blindly பயன்படுத்த வேண்டாம்.
- robots.txt மாற்றுவதற்கு முன் existing configuration-ஐ backup செய்து வைத்துக்கொள்ளுங்கள்.
Practical Tip
ஒரு புதிய Blogger owner என்றால் “SEO improve ஆகும்” என்பதற்காக மட்டும் custom robots.txt-ஐ அடிக்கடி மாற்ற வேண்டிய அவசியமில்லை.
முதலில் உங்கள் முக்கிய articles Google crawl செய்ய முடியுமா, sitemap சரியாக submit செய்யப்பட்டுள்ளதா, Search Console-ல் indexing errors உள்ளதா என்பதைப் பார்ப்பது முக்கியம்.
Pro Tip
Google Search Console-ல் ஒரு முக்கிய URL-க்கு URL Inspection செய்து Google அந்த page-ஐ access செய்ய முடியுமா என்பதைச் சரிபார்க்கலாம்.
ஒரு page index ஆகவில்லை என்றால் robots.txt மட்டுமே காரணம் என்று உடனடியாக முடிவு செய்ய வேண்டாம். noindex, canonical, redirects, crawl/discovery நிலை, content quality போன்ற மற்ற காரணிகளையும் சரிபார்க்க வேண்டும்.
FAQ
1. Robots.txt என்றால் என்ன?
Search Engine crawlers website-ன் எந்த URL paths-ஐ crawl செய்யலாம் அல்லது செய்யக்கூடாது என்பதை தெரிவிக்கும் text file.
2. Robots.txt SEO-க்கு முக்கியமா?
Crawler access management-க்கு முக்கியமான technical SEO file. ஆனால் இது தனியாக ranking boost கொடுக்கும் technique அல்ல.
3. Robots.txt மூலம் ஒரு page-ஐ Google Search-ல் இருந்து remove செய்ய முடியுமா?
Robots.txt முக்கியமாக crawling-ஐ கட்டுப்படுத்துகிறது. Search indexing-ஐ தடுக்க வேண்டிய சூழலில் சரியான indexing-control method பயன்படுத்த வேண்டும்.
4. Disallow: / என்றால் என்ன?
அந்த rule பொருந்தும் crawler-க்கு website root கீழுள்ள அனைத்து paths-ஐ crawl செய்ய வேண்டாம் என்று தெரிவிக்கிறது.
5. Sitemap robots.txt-ல் சேர்க்கலாமா?
ஆம். Sitemap: field மூலம் sitemap-ன் முழு URL-ஐ குறிப்பிடலாம். Google இதை ஆதரிக்கிறது.
6. Blogger-ல் custom robots.txt அவசியமா?
ஒவ்வொரு Blogger website-க்கும் custom configuration கட்டாயம் என்று சொல்ல முடியாது. தேவையும் technical understanding-மும் இருந்தால் மட்டுமே மாற்றுவது பாதுகாப்பானது.
“Website indexing improve செய்வதற்கு internal links-மும் உதவுகின்றன; Internal Linking SEO Guide-ஐ பார்க்கவும்.”
Conclusion
Robots.txt என்பது website மற்றும் Search Engine crawlers இடையே crawling instructions வழங்கும் முக்கியமான file.
இதில் User-agent, Allow, Disallow, Sitemap போன்ற directives மூலம் crawler access-ஐ நிர்வகிக்கலாம்.
ஆனால் robots.txt-ஐ indexing tool அல்லது SEO ranking shortcut என்று நினைக்கக்கூடாது.
குறிப்பாக Blogger beginners, robots.txt settings-ஐ மாற்றும்போது மிகவும் கவனமாக இருக்க வேண்டும். ஒரு தவறான rule உங்கள் முக்கியமான content-ஐ Googlebot crawl செய்வதைத் தடுக்கக்கூடும்.
Next: Google Search Console-ல் “Blocked by robots.txt” status வந்தால் அதை எப்படி சரிசெய்வது என்பதை அடுத்த guide-ல் பார்க்கலாம்.
🔔 Stay Connected with DigiHubTamil
✍️About the Author
MSK (Saravanakumar M.) – DigiHubTamil-ன் Founder & Author. AI, Technology, Digital Marketing, SEO, Online Safety மற்றும் Digital Tools போன்ற தலைப்புகளில் beginner-friendly தமிழ் guides எழுதுகிறார்.
DigiHubTamil-ல் வெளியிடப்படும் guides practical examples, research மற்றும் authoritative sources அடிப்படையில் readers எளிதாகப் புரிந்துகொள்ளும் வகையில் உருவாக்கப்படுகின்றன.
👉 மேலும் அறிய:
MSK – DigiHubTamil Founder & Author Profile
DigiHubTamil – Learn • Grow • Stay Updated
Comments
Post a Comment