robot.txt چیست؟ بررسی کاربرد فایل متنی robot.txt در سئو
robot.txt چیست؟ کاربرد فایل متنی ربات در وب سایت چیست؟ robot.txt چه کاربردی در سئو دارد؟ با واژه و اصطلاح کاربردی دیگری از مباحث سئو با شما دوستان همراه هستم.در این مطلب قصد دارم به چیستی فایل های متنی تحت عنوان Robots.txt بپردازم بنابراین اگر تمایل دارید بیشتر در مورد این فایل ها بدانید تا انتها مطلب را مطالعه بفرمایید.
دوره های شبکه، برنامه نویسی، مجازی سازی، امنیت، نفوذ و ... با برترین های ایران
سرفصل های این مطلب
فایل متنی Robots.txt چیست؟
اجاز بدید قبل از اینکه به معنا و مفهوم این فایل های متنی بپردازیم معنی لغات آن را بررسی کنیم .واژه ی انگلیسی Robots که به معنی ربات است و .txt در آخر این واژه نیز به این معنی است که فرمت این فایل به صورت متنی می باشد.اما ربات در این واژه به ربات های موتورهای جستجوگر یا به اصطلاح اسپایدرهای وب اشاره دارد که در وبسایت ها خزیده و محتوای آنها را فهرست می کنند.در مقالات ابتدایی این گروه مطلب به طور مفصل به بررسی واژه اسپایدر و نحوه عملکرد آنها پرداختیم پس اگر نمی دانید اسپایدرها چه هستند و چگونه عمل می کنند پیشنهاد می کنم که حتما قبل از مطالعه این مطلب این مقاله را مطالعه کنید.
اما فایل های متنی درواقع در سئو بسیار پر اهمیت هستند و متخصصین سئو بسیار از آنها استفاده می کنند.فرض کنید که شما وبسایتی دارید و در آن محتوا تولید می کنید اما برخی از صفحات آن ، آن طور که باید بهینه نشده اند بنابراین شما تصمیم می گیرد که تا اطلاع ثانوی (که همان بهینه شدن صفحات باشه) مطالبتان در موتورهای جستجو ایندکس نشود بنابراین در اینجا از فایلهای متنی Robots.txt استفاده می کنید.پس به طور کلی می توانیم بگوییم برای اعمال محدودیت روی ایندکس شدن صفحات وب توسط اسپایدرهای وب از این فایل های متنی استفاده می شود که به آن (Robot Exclusion Standard) یا استاندارد استثنا کردن ربات ها هم گفته می شود.
با این اعمال محدودیت درواقع به اسپایدرهایی که برای ایندکس کردن صفحات وب ما به سایت سر می زنند می گوییم که چه قسمت هایی نباید جستجو و ایندکس شوند.البته این نکته را هم بدانید که برخی از رباتها مانند email harvesters و spambots malware که ربات هایی برای بررسی امنیت وبسایت هستند از این دست فایل های متنی همچون Robots.txt پیروی نمی کنند.
اما ممکن است برای شما این سوال پیش آمده باشد که خب این فایل متنی که وظیفه اعمال محدودیت برروی خزش اسپایدرهای وب در سایت را برعهده دارد چگونه نوشته می شود؟باید بگویم شما می توانید به راحتی در نرم افزارهای ساده ویرایشگر متن مثل Notepad++ فایل متنی تان را بنویسید.فقط باید قبل از آن syntax های ساده آن را بلد باشید.برای مثال زمانی که قصد دارید به اسپایدرهای همه ی موتورهای جستجو اجازه ورود و دسترسی به مطالب تان را ندهید از کد زیر استفاده کنید.(البته مطمئن باشید که این اصلا کار عاقلانه ای نیست چون در سئو هدف دیده شدن و ایندکس شدن در موتورهای جستجو است نه عکس آن)
User-agent : * Disallow : /
خب اگر به کد بالا توجه کنید خط اول خطاب به اسپایدرها می باشد که اگر جلوی آن ستاره گذاشته شود یعنی منظور همه ی موتورهای جستجو هستند و خط دوم دسترسی را تعیین کرده که به اسپایدرها اجازه ثبت نداده و با قرار دادن «/» خط مورب منظورش دسترسی به کل محتوای وبسایت بوده است.اما یک متخصص سئو معمولا ممکن است دسترسی را برای یک فایل ، یک تصویر یا یک محتوای خاص محدود کند مثلا در فایل متنی زیر دسترسی به تصاویر سایت برای همه ی موتورهای جستجو محدود شده است:
User-agent : * Disallow:/photo
یا محدودیت برای ایندکس شدن هم تصاویر و هم ویدیوهای سایت :
User-agent :* Disallow : /photo/video
اما ممکن است شما بخواهید دسترسی به تصاویرتان برای همه ی موتورهای جستجو آزاد باشد ولی برای اسپایدرهای وب گوگل محدودیت ایجاد کنید ، در این صورت کافی است به جای گذاشت علامت ستاره در خط اول فقط googlebot را قرار دهید:
User-agent : googlebot Disallow : /photo
نکته : توجه کنید که خزندگان گوگل برخلاف خزندگان سایر موتورهای جستجو می توانند دستورات اضافی تری را بخوانند برای مثال فرض کنید شما دسترسی به یک فولدر یا دسته بندی خاص را برای همه اسپایدرها محدود ولی برای گوگل باز میگذارید در این صورت :
User-agent : * Disallow : /blog/ Allow : /blog/
درواقع در خط سوم شما با نوشتن Allow به گوگل اجازه دادید که به آن دسته بندی دسترسی داشته و آنرا ایندکس کند.برای اعمال محدودیت یک فایل با یک فرمت خاص مثلا فرمت گیف می توان این طور نوشت :
User-agent : * Disallow : /*.gif$
متخصصان سئو برای اینکه بتوانند برروی روند خزش اسپایدرهای وب محدودیت ایجاد کنند از این فایل های متنی بهره می برند به همین خاطر اگر شما از این فایل ها استفاده نکنید به محض ورود این رباتهای وب آنها فایل Robots.txt را ندیده و در سایت شما احساس آزادی می کنند حتی پنل مدیریتی را هم در موتور جستجو ثبت می کنند که خب این اصلا خوشایند نیست بنابراین سعی کنید آن دسته از صفحاتی را که نمی خواهید در دید اسپایدرها باشند مسدود کنید.درواقع این کار برای عدم ثبت صفحات و مطالب تکراری در وبسایت نیز کارساز است.
همچنین شما با وارد کردن آدرسی در مرورگر به صورت : www.yoursite.com/robots.txt می توانید به برخی از فایل های متنی وبسایت ها دسترسی داشته و ببینید که از چه دستوراتی استفاده کرده اند یکی از حالتهای خیلی خوب این است که شما این فایل متنی را با نقشه سایت خود ترکیب کنید و کنار هم قرار بدید.(درباره ی نقشه سایت در مقالات قبلی توضیح دادیم که می توانید آنرا از این لینک مطالعه کنید.)برای مثال سایت دیجی کالا نقشه سایت خود را در فایل متنی Robots.txt به کار برده است :
درنهایت امیدوارم که با واژه Robots.txt ، نحوه عملکرد و چگونگی نوشتن آن به خوبی آشنا شده باشید.اگر مطالعه این مقاله برایتان مفید واقع شد آنرا با دوستانتان به اشتراک بگذارید. توسینسو باشیـــد.