রোবটস.টেক্সট জেনারেটর

রোবটস.টেক্সট (Robots.txt): এসইও-এর জন্য কেন এটি জরুরি?

ওয়েবসাইটের সার্চ ইঞ্জিন অপটিমাইজেশন (SEO) এর ক্ষেত্রে ছোট ছোট কিছু টেকনিক্যাল বিষয়ের ওপর বড় ধরনের প্রভাব পড়ে। এর মধ্যে অন্যতম একটি হলো ‘robots.txt’ ফাইল। এটি মূলত একটি টেক্সট ফাইল, যা আপনার ওয়েবসাইটের রুট ফোল্ডারে থাকে। গুগল বা অন্যান্য সার্চ ইঞ্জিনের বট (Crawler) যখন আপনার ওয়েবসাইটে আসে, তখন তারা প্রথমেই এই ফাইলটি চেক করে। এই ফাইলের মাধ্যমে আপনি সার্চ ইঞ্জিনকে নির্দেশ দিতে পারেন আপনার সাইটের কোন পেজগুলো তারা ইনডেক্স করতে পারবে আর কোনগুলো করতে পারবে না।

অনেক নতুন ব্লগার বা ওয়েবমাস্টার এই ফাইলটির ব্যবহার জানেন না বা কোডিং না জেনে ভুল কোড বসিয়ে দেন, যার ফলে গুগল তাদের গুরুত্বপূর্ণ পেজগুলো ইনডেক্স করতে পারে না। এই সমস্যা সমাধানের জন্যই আমরা তৈরি করেছি “Robots.txt জেনারেটর” টুলসটি। এই আর্টিকেলে আমরা এর ব্যবহার নিয়ে বিস্তারিত আলোচনা করব।

Robots.txt ফাইল কী কাজ করে?

সার্চ ইঞ্জিন বটগুলো যখন ইন্টারনেট ঘাঁটাঘাঁটি করে, তখন তারা প্রতিটি ওয়েবসাইটের ডোমেইনের শেষে `/robots.txt` যুক্ত করে ফাইলটি খুঁজে। যেমন- `www.yoursite.com/robots.txt`। এই ফাইলে যদি `Disallow: /` লেখা থাকে, তবে বটগুলো সাইটের কোনো পেজ ইনডেক্স করবে না। আর যদি নির্দিষ্ট কোনো ফোল্ডার যেমন `Disallow: /wp-admin/` দেওয়া থাকে, তবে বটগুলো শুধু wp-admin ফোল্ডারটি এড়িয়ে যাবে এবং বাকি সব পেজ ইনডেক্স করবে।

টুলসটি ব্যবহার করার নিয়ম

আমাদের এই টুলসটি ব্যবহার করে কোনো কোডিং জানা ছাড়াই খুব সহজে এই ফাইলটি তৈরি করতে পারবেন। নিচে ধাপে ধাপে নিয়মগুলো দেওয়া হলো:

• প্রথমে আপনার ওয়েবসাইটের ডোমেইন নাম লিখুন (যেমন: https://agamicareer.com)।
• ক্রলিং নিয়ম হিসেবে “সব বটকে অনুমতি দিন” সিলেক্ট করুন। যদি নির্দিষ্ট কোনো পেজ বাদ দিতে চান, তবে “কাস্টম” সিলেক্ট করে পাথগুলো লিখুন।
• আপনার ওয়েবসাইটের সাইটম্যাপ লিংকটি দিন। এটি গুগলকে আপনার সাইটের সব পেজের লিস্ট দ্রুত জানাতে সাহায্য করে।
• “কোড জেনারেট করুন” বাটনে ক্লিক করুন। নিচে একটি কোড বক্স আসবে।
• কোডটি কপি করুন এবং নোটপ্যাড খুলে সেখানে পেস্ট করে `robots.txt` নামে সেভ করুন। এরপর ফাইলটি আপনার ওয়েবসাইটের হোস্টিং প্যানেলের পাবলিক_html (root) ফোল্ডারে আপলোড করে দিন।