40 نکته مهم در سئو : فایل متنی robot.txt چیست؟

فایل Robots.txt چیست؟چه تاثیری در سئو دارد؟

به نام خدا ، سلام و عرض ادب خدمت شما دوستان انجمن تخصصی ITPRO به ویژه علاقه مندان به مبحث سئو. با واژه و اصطلاح کاربردی دیگری از مباحث سئو با شما دوستان همراه هستم.در این مطلب قصد دارم به چیستی فایل های متنی تحت عنوان Robots.txt بپردازم بنابراین اگر تمایل دارید بیشتر در مورد این فایل ها بدانید تا انتها مطلب را مطالعه بفرمایید.

فایل متنی Robots.txt چیست؟


اجاز بدید قبل از اینکه به معنا و مفهوم این فایل های متنی بپردازیم معنی لغات آن را بررسی کنیم .واژه ی انگلیسی Robots که به معنی ربات است و .txt در آخر این واژه نیز به این معنی است که فرمت این فایل به صورت متنی می باشد.اما ربات در این واژه به ربات های موتورهای جستجوگر یا به اصطلاح اسپایدرهای وب اشاره دارد که در وبسایت ها خزیده و محتوای آنها را فهرست می کنند.در مقالات ابتدایی این گروه مطلب به طور مفصل به بررسی واژه اسپایدر و نحوه عملکرد آنها پرداختیم پس اگر نمی دانید اسپایدرها چه هستند و چگونه عمل می کنند پیشنهاد می کنم که حتما قبل از مطالعه این مطلب این مقاله را مطالعه کنید.

اما فایل های متنی درواقع در سئو بسیار پر اهمیت هستند و متخصصین سئو بسیار از آنها استفاده می کنند.فرض کنید که شما وبسایتی دارید و در آن محتوا تولید می کنید اما برخی از صفحات آن ، آن طور که باید بهینه نشده اند بنابراین شما تصمیم می گیرد که تا اطلاع ثانوی (که همان بهینه شدن صفحات باشه) مطالبتان در موتورهای جستجو ایندکس نشود بنابراین در اینجا از فایلهای متنی Robots.txt استفاده می کنید.پس به طور کلی می توانیم بگوییم برای اعمال محدودیت روی ایندکس شدن صفحات وب توسط اسپایدرهای وب از این فایل های متنی استفاده می شود که به آن (Robot Exclusion Standard) یا استاندارد استثنا کردن ربات ها هم گفته می شود.

با این اعمال محدودیت درواقع به اسپایدرهایی که برای ایندکس کردن صفحات وب ما به سایت سر می زنند می گوییم که چه قسمت هایی نباید جستجو و ایندکس شوند.

البته این نکته را هم بدانید که برخی از رباتها مانند email harvesters و spambots malware که ربات هایی برای بررسی امنیت وبسایت هستند از این دست فایل های متنی همچون Robots.txt پیروی نمی کنند.

اما ممکن است برای شما این سوال پیش آمده باشد که خب این فایل متنی که وظیفه اعمال محدودیت برروی خزش اسپایدرهای وب در سایت را برعهده دارد چگونه نوشته می شود؟باید بگویم شما می توانید به راحتی در نرم افزارهای ساده ویرایشگر متن مثل Notepad++ فایل متنی تان را بنویسید.فقط باید قبل از آن syntax های ساده آن را بلد باشید.

برای مثال زمانی که قصد دارید به اسپایدرهای همه ی موتورهای جستجو اجازه ورود و دسترسی به مطالب تان را ندهید از کد زیر استفاده کنید.(البته مطمئن باشید که این اصلا کار عاقلانه ای نیست چون در سئو هدف دیده شدن و ایندکس شدن در موتورهای جستجو است نه عکس آن)

User-agent : *
Disallow : /

خب اگر به کد بالا توجه کنید خط اول خطاب به اسپایدرها می باشد که اگر جلوی آن ستاره گذاشته شود یعنی منظور همه ی موتورهای جستجو هستند و خط دوم دسترسی را تعیین کرده که به اسپایدرها اجازه ثبت نداده و با قرار دادن «/» خط مورب منظورش دسترسی به کل محتوای وبسایت بوده است.

اما یک متخصص سئو معمولا ممکن است دسترسی را برای یک فایل ، یک تصویر یا یک محتوای خاص محدود کند مثلا در فایل متنی زیر دسترسی به تصاویر سایت برای همه ی موتورهای جستجو محدود شده است:

User-agent : *
Disallow:/photo

یا محدودیت برای ایندکس شدن هم تصاویر و هم ویدیوهای سایت :

User-agent :*
Disallow : /photo/video

اما ممکن است شما بخواهید دسترسی به تصاویرتان برای همه ی موتورهای جستجو آزاد باشد ولی برای اسپایدرهای وب گوگل محدودیت ایجاد کنید ، در این صورت کافی است به جای گذاشت علامت ستاره در خط اول فقط googlebot را قرار دهید:

User-agent : googlebot
Disallow : /photo

40 نکته مهم در سئو : فایل متنی robot.txt چیست؟

نکته : توجه کنید که خزندگان گوگل برخلاف خزندگان سایر موتورهای جستجو می توانند دستورات اضافی تری را بخوانند برای مثال فرض کنید شما دسترسی به یک فولدر یا دسته بندی خاص را برای همه اسپایدرها محدود ولی برای گوگل باز میگذارید در این صورت :

User-agent : *
Disallow : /blog/
Allow : /blog/

درواقع در خط سوم شما با نوشتن Allow به گوگل اجازه دادید که به آن دسته بندی دسترسی داشته و آنرا ایندکس کند.

برای اعمال محدودیت یک فایل با یک فرمت خاص مثلا فرمت گیف می توان این طور نوشت :

User-agent : *
Disallow : /*.gif$

متخصصان سئو برای اینکه بتوانند برروی روند خزش اسپایدرهای وب محدودیت ایجاد کنند از این فایل های متنی بهره می برند به همین خاطر اگر شما از این فایل ها استفاده نکنید به محض ورود این رباتهای وب آنها فایل Robots.txt را ندیده و در سایت شما احساس آزادی می کنند حتی پنل مدیریتی را هم در موتور جستجو ثبت می کنند که خب این اصلا خوشایند نیست بنابراین سعی کنید آن دسته از صفحاتی را که نمی خواهید در دید اسپایدرها باشند مسدود کنید.درواقع این کار برای عدم ثبت صفحات و مطالب تکراری در وبسایت نیز کارساز است.

همچنین شما با وارد کردن آدرسی در مرورگر به صورت : www.yoursite.com/robots.txt می توانید به برخی از فایل های متنی وبسایت ها دسترسی داشته و ببینید که از چه دستوراتی استفاده کرده اند یکی از حالتهای خیلی خوب این است که شما این فایل متنی را با نقشه سایت خود ترکیب کنید و کنار هم قرار بدید.(درباره ی نقشه سایت در مقالات قبلی توضیح دادیم که می توانید آنرا از این لینک مطالعه کنید.)

برای مثال سایت دیجی کالا نقشه سایت خود را در فایل متنی Robots.txt به کار برده است :

40 نکته مهم در سئو : فایل متنی robot.txt چیست؟

درنهایت امیدوارم که با واژه Robots.txt ، نحوه عملکرد و چگونگی نوشتن آن به خوبی آشنا شده باشید.اگر مطالعه این مقاله برایتان مفید واقع شد آنرا با دوستانتان به اشتراک بگذارید.ITPRO باشیـــد.


نویسنده : hamideh-smi7

منبع : انجمن تخصصی فناوری اطلاعات ایران

هرگونه نشر و کپی برداری از مطلب تنها با ذکر منبع و نام نویسنده مجاز است.

#آموزش_اصطلاحات_سئو #robots.txt_چیست؟ #robots.txt_در_سئو_چیست؟ #اهمیت_robots.txt_در_سئو؟ #آموزش_ساخت_فایل_robots.txt_در_سئو #فایل_robots.txt_چیست؟چه_کاربردی_دارد؟ #چگونه_فایل_robots.txt_را_بنویسیم؟ #آموزش_رایگان_سئو
عنوان
1 40 نکته مهم در سئو : انکرتکست یا Anchor Text چیست؟ رایگان
2 40 نکته مهم در سئو : تگ Alt یا آلت تصویر چیست؟ رایگان
3 40 نکته مهم در سئو : بک لینک یا Link Building چیست؟ رایگان
4 40 نکته مهم در سئو : نرخ فرار از سایت یا Bounce Rate چیست؟ رایگان
5 40 نکته مهم در سئو : نرخ تبدیل یا Conversion Rate چیست؟ رایگان
6 40 نکته مهم در سئو : پیوند عمیق یا DeepLinking چیست؟ رایگان
7 40 نکته مهم در سئو : اسپایدر یا Crawlers چیست؟ رایگان
8 40 نکته مهم در سئو : تبلیغات کلیکی یـا PPC چیست؟ رایگان
9 40 نکته مهم در سئو : وب دایرکتوری یا Web Directory چیست؟ رایگان
10 40 نکته مهم در سئو : محتوای تکراری یا Duplicate Content چیست؟ رایگان
11 40 نکته مهم در سئو : خوراک وب یا RSS Feed چیست؟ رایگان
12 40 نکته مهم در سئو : صفحات ورود یا DoorWay Page چیست؟ رایگان
13 40 نکته مهم در سئو : فایل اچ تی اکسس یا .Htaccess چیست؟ رایگان
14 40 نکته مهم در سئو : تگ هدینگ چیست؟ رایگان
15 40 نکته مهم در سئو : Visits ، Views و Hits چیست؟ رایگان
16 40 نکته مهم در سئو : Inbound Links یا Outbound Links چیست؟ رایگان
17 40 نکته مهم در سئو : دیده شدن یا Impression چیست؟ رایگان
18 40 نکته مهم در سئو : ارتباط معنایی پنهان یا LSI Keyword چیست؟ رایگان
19 40 نکته مهم در سئو : متا تگ توضیحات یا Meta Description Tag چیست؟ رایگان
20 بازاریابی گوشه یا Niche Marketing در سئو چیست؟ رایگان
21 40 نکته مهم در سئو : سئوی منفی یا Negative SEO چیست؟ رایگان
22 40 نکته مهم در سئو : سئو ارگانیک یا Organic SERP چیست؟ رایگان
23 40 نکته مهم در سئو : مجازات گوگل یا Google Penalties چیست؟ رایگان
24 40 نکته مهم در سئو : پیج رنک یا Page Rank چیست؟ رایگان
25 40 نکته مهم در سئو : نرخ بازگشت سرمایه یا ROI چیست؟ رایگان
26 40 نکته مهم در سئو : ریدایرکت 301 یا Redirect 301 چیست؟ رایگان
27 40 نکته مهم در سئو : نقشه سایت یا SiteMap چیست؟ رایگان
28 40 نکته مهم در سئو : اهمیت کیفیت بر کمیت چیست؟ رایگان
29 40 نکته مهم در سئو : رتبه اعتماد یا Trust Rank چیست؟ رایگان
30 40 نکته مهم در سئو : فایل متنی robot.txt چیست؟ رایگان
31 40 نکته مهم در سئو : کاربردپذیری چیست؟ رایگان
32 40 نکته مهم در سئو : ریچ اسنیپت (Rich Snippet) چیست؟ رایگان
33 40 نکته مهم در سئو : جعبه شن یا Sandbox چیست؟ رایگان
34 40 نکته مهم در سئو : کش یا حافظه نهان چیست؟ رایگان
35 40 نکته مهم در سئو : رتبه الکسا چیست؟ رایگان
36 40 نکته مهم در سئو : ترافیک بازگشتی چیست؟ رایگان
37 40 نکته مهم در سئو : هاتلینکینگ یا سرقت پهنای باند چیست؟ رایگان
38 40 نکته مهم در سئو : کلوکینگ چیست؟ رایگان
39 40 نکته مهم در سئو : Splash page ، Reciprocal link ، Bait Switch رایگان
40 40 نکته مهم در سئو : سئو کلاه سیاه و سئو کلاه سفید چیست؟ رایگان
زمان و قیمت کل 0″ 0
0 نظر

هیچ نظری ارسال نشده است! اولین نظر برای این مطلب را شما ارسال کنید...

نظر شما
برای ارسال نظر باید وارد شوید.
از سرتاسر توسینسو
تنظیمات حریم خصوصی
تائید صرفنظر
×

تو می تونی بهترین نتیجه رو تضمینی با بهترین های ایران بدست بیاری ، پس مقایسه کن و بعد خرید کن : فقط توی جشنواره تابستانه می تونی امروز ارزونتر از فردا خرید کنی ....