Robots.txt হলো একটি টেক্সট ফাইল যা আপনার ওয়েবসাইটের সার্ভারে থাকে এবং সার্চ ইঞ্জিন বট (যেমন Googlebot) কে নির্দেশ দেয়—কোন পেজ ক্রল করবে আর কোনটি করবে না।
👉 সহজভাবে বললে:
Robots.txt = সার্চ ইঞ্জিনের জন্য নির্দেশনা ফাইল
⚙️ Robots.txt কীভাবে কাজ করে?
- সার্চ ইঞ্জিন প্রথমে আপনার
robots.txtফাইল চেক করে - তারপর সেই অনুযায়ী নির্দিষ্ট পেজ ক্রল করে বা বাদ দেয়
- এটি সাধারণত ওয়েবসাইটের root directory-তে থাকে
👉 উদাহরণ:https://yourwebsite.com/robots.txt
🔑 Robots.txt কেন গুরুত্বপূর্ণ?
🚫 ১. অপ্রয়োজনীয় পেজ ব্লক করা
Admin, login বা sensitive পেজ ক্রল হওয়া বন্ধ করা যায়
⚡ ২. Crawl budget সেভ করে
Google যেন গুরুত্বপূর্ণ পেজগুলোতেই বেশি ফোকাস করে
🔍 ৩. SEO কন্ট্রোল বাড়ায়
আপনি নির্ধারণ করতে পারেন কোন পেজ index হবে
🔒 ৪. প্রাইভেসি রক্ষা
কিছু নির্দিষ্ট ফাইল/ডিরেক্টরি লুকানো যায়
💻 Robots.txt উদাহরণ
User-agent: *
Disallow: /admin/
Disallow: /login/
Allow: /Sitemap: https://yourwebsite.com/sitemap.xml
👉 ব্যাখ্যা:
User-agent: *→ সব বটের জন্যDisallow→ এই পেজগুলো ক্রল হবে নাAllow→ অনুমোদিত পেজSitemap→ Sitemap এর লিংক
⚠️ গুরুত্বপূর্ণ টিপস
- ❌ Robots.txt দিয়ে গুরুত্বপূর্ণ পেজ ব্লক করবেন না
- ❌ ভুলভাবে Disallow দিলে SEO ক্ষতি হতে পারে
- ✅ নিয়মিত চেক করুন (Google Search Console দিয়ে)
📊 উপসংহার
Robots.txt কী—এটি আপনার ওয়েবসাইটের SEO কন্ট্রোলের একটি গুরুত্বপূর্ণ অংশ।
সঠিকভাবে ব্যবহার করলে আপনি সার্চ ইঞ্জিনকে ঠিকভাবে গাইড করতে পারবেন এবং আপনার সাইটের পারফরম্যান্স উন্নত হবে।