40 نکته مهم در سئو : اسپایدر یا Crawlers چیست؟

اسپایدر وب چیست؟

به نام خدا ، سلام خدمت کاربران ITPRO ای.با یک مطلب بسیار مهم در سئو در گروه مطلب «اصول و الفبای سئو(SEO)» با شما همراه هستم. در این مقاله قصد داریم که شما را با یک اصطلاح کاربردی و یک مفهوم جدید و در عین حال مهم در الفبای سئو آشنا کنیم. حتما شما هم تا به حال لغتی به نام خزنده ها یا اسپایدرهای موتورهای جستجو را شنیده اید.زمانیکه شما تصمیم می گیرید که به عنوان یک متخصص سئو وارد بازار کار شوید و در واقع در این حوزه و حیطه فعالیت کنید باید به خوبی اصطلاحات سئو را بدانید و با نحوه ی کار و عملکرد موتورهای جستجو نیز آشنا باشید از این رو مبحث خزنده های موتورهای جستجو اهمیت دارد.در ادامه با ITPRO همراه باشید.

اسپایدر یـا (Crawlers) چیست؟


واژه ی انگلیسی اسپایدر (Spider) در زبان فارسی به معنی عنکبوت است و البته به دلیل ماهیت رفتاری جانور عنکبوت به آن خزنده (Crawlers) نیز می گویند. اما شاید این سوال برای شما هم پیش بیاید که اصلا عنکبوت چه ربطی به موتورهای جستجو دارد؟ خب در اینجا باید این طور بگویم که در واقع موتورهای جستجو دارای خزنده ها یا همان عنکبوت هستند (به این نکته توجه کنید که عنکبوت یا خزنده های موتور جستجو یکی هستند و هیچ تفاوتی با هم ندارند) و بدون این عنکبوت ها در واقع هیچ کاری از دست موتورهای جستجو ساخته نیست.نمیدانم که فیلم سینمایی مرد عنکبوتی را دیده اید یا نه؟!! اما باید بگم که اسپایدرهای موتورهای جستجو نیز عملکردی درست شبیه به مرد عنکبوتی دارند. در داستان این فیلم ، مرد عنکبوتی کسی بود که با نخ یا تارهایی که ایجاد می کرد به برج ها و ساختمان ها متصل می شد و یکی پس از دیگری آنها را پشت سر می گذاشت. حتی اگر این فیلم را هم ندیده باشید قطعا در دنیای واقعی عنکبوت را دیده اید که چطور تار ایجاد می کند و به وسیله ی این تار خود ساخته حرکت می کند.

عملکرد عنکبوت های وب نیز به همین ترتیب است آنها بوسیله ی لینک هایی که در صفحات مختلف وب ایجاد شده است از یک صفحه به صفحه ی دیگر متصل میشوند و یکی پس از دیگری از همه ی صفحات وب دیدن می کنند در نهایت آنها را در یک پایگاه داده فهرست می کنند تا زمانیکه کاربر کلمه یا عبارتی را در موتور جستجو سرچ کرد از میان همان پایگاه داده حرکت کنند و صفحات را چیدمان کنند و نتایج را نمایش دهند.در واقع گاهی اوقات این سوال برای برخی از افراد پیش میاید که : یعنی همان موقع که ما یک کلمه را جستجو می کنیم موتور جستجو میلیون ها صفحه را میبیند و نمایش می دهد؟ باید بگویم خیر، در واقع شاید این تعداد صفحات میلیون ها باشد وتعدادشان بسیار باشد ولی عنکبوت ها قبلا مطالبی را که در دنیای اینترنت منتشر شده است دیده اند و آنها را در پایگاه داده خود جمع آوری کرده اند و این خزنده ها بر اساس سیاست های خاصی این کار را انجام می دهند و یکی از دلایل آن هم این است که محتوای تکراری را مجددا دانلود نکنند.

اگر بخواهیم یک تعریف جامع و کامل از اسپایدرهای وب داشته باشیم باید این طور بگوییم که : نرم افزاری است که با تار انداختن از یک صفحه وب به صفحات دیگر (خزیدن) محتوا ها را بررسی و ایندکس می کند. به لینک هایی که به خزنده ها کمک می کند تا راحت تر صفحات مرتبط با موضوع و با کیفیت را پیدا کنند Feed گفته میشود.

که واژه ی انگلیسی Feed در زبان ما به معنی غذا دادن ، غذا خوردن و یا تغذیه کردن است بنابراین متوجه می شویم که اسپایدرها از لینک ها تغذیه می کنند به همین خاطر است گفته می شود عملیات لینک سازی در صفحات وبسایت را به درستی انجام دهید تا این خزنده های وب نیز به خوبی تفذیه شوند. به خزنده های موتورهای جستجو اسپایدرهای وب ، ربات ها ، فهرست کننده اتوماتیک ، ربات وب ، عنکبوت وب و... نیز می گویند.اگر این عنکبوت ها نباشند در واقع موتور جستجو و نتایجی هم نخواهد بود.بنابراین آنها به اعتبارسنجی کدهای HTML و Hyperlink ها کمک می کنند.

ساختار کاری عنکبوت های وب


همان طور که گفته شد اسپایدرها بر اساس یک سری سیاست های کاری خاصی عمل می کنند که به توضیح مختصری از آنها می پردازیم :

  • Selection Policy : همان طور که از معنی فارسی این واژه پیداست یعنی سیاست در گزینش ، اسپایدرهای وب در گام اول مشخص می کنند که ابتدا باید چه صفحاتی را Index کنند تا پایگاه داده شان تشکیل شود.
  • Re - Visit Policy : یعنی بررسی مجدد ، بعد از اینکه صفحات وب دیده و فهرست شد اسپایدرها مشخص می کنند که در چه تایم ها و زمان هایی باید مجددا صفحات را بررسی کنند.
  • Politness Policy : در این مرحله معمولا اسپایدرها به گونه ای می خزند و صفحات را بررسی می کنند که وبسایت Overload نداشته باشد.(و البته اسپایدرها به این موضوع دقت دارند که صفحه ای را به صورت تکراری دانلود نکنند)
  • Parallization Policy : در این مرحله مشخص می کنند که چگونه پخش شوند تا هماهنگی با یکدیگر داشته باشند و این هم باز به اهمیت این موضوع که صفحات وب تکراری ایندکس نشوند اشاره دارد.

به تصویر زیر دقت کنید تا بیشتر با نحوه ی کار یک اسپایدار موتورجستجو آشنا شوید :

اسپایدرهای موتورجستجو

نحوه ی کار در سه مرحله صورت می گیرد : 1.خزیدن 2.ایندکسر 3.نرم افزار موتور جستجو

مرحله 1 : خزیدن

  • ابتدا هر مطلبی که توسط شخصی در اینترنت منتشر و تولید می شود توسط موتورهای جستجو بررسی می شود و اسپایدرهای وب شروع به حرکت و خزیدن می کنند.

مرحله 2 : ایندکسر

  • اطلاعاتی را جمع آوری می کنند و آنها را در پایگاه داده خود ذخیره می نمایند.

مرحله 3 : نرم افزار موتور جستجو

  • کاربر کلمه ای را سرچ می کند.
  • خزنده ها در پایگاه داده خود سرچ می کنند تا بهترین نتایج را بدست آورند.
  • نتایج را رتبه بندی کرده و برای کاربر نمایش می دهند.

امیدوارم که پس از خواندن این مقاله به خوبی با مفهوم اسپایدرها و یا خزنده های وب آشنا شده باشید و به چگونگی عملکرد آنها در دنیای وب پی برده باشید.درنهایت اگر مطالعه این مقاله برای شما مفید واقع شد حتما آنرا با دیگران هم به اشتراک بگذارید تا استفاده کنند.ITPRO باشید.


نویسنده: hamideh-smi7

منبع : انجمن تخصصی فناوری اطلاعات ایران

هرگونه نشر و کپی برداری از مطلب تنها با ذکر منبع و نام نویسنده مجاز است.

#آموزش_سئو #موتورجستجو_چگونه_کار_می_کند؟ #ساختار_کاری_موتورهای_جستجو #نحوه_ی_کار_موتورهای_جستجو #اسپایدر_یا_crawlers_چیست؟ #spider_در_وب_چیست؟ #آشنایی_با_اصطلاحات_در_سئو #خزنده_وب_یا_اسپایدر_چیست؟ #آموزش_رایگان_سئو #اسپایدر_وب_چیست؟
عنوان
1 40 نکته مهم در سئو : انکرتکست یا Anchor Text چیست؟ رایگان
2 40 نکته مهم در سئو : تگ Alt یا آلت تصویر چیست؟ رایگان
3 40 نکته مهم در سئو : بک لینک یا Link Building چیست؟ رایگان
4 40 نکته مهم در سئو : نرخ فرار از سایت یا Bounce Rate چیست؟ رایگان
5 40 نکته مهم در سئو : نرخ تبدیل یا Conversion Rate چیست؟ رایگان
6 40 نکته مهم در سئو : پیوند عمیق یا DeepLinking چیست؟ رایگان
7 40 نکته مهم در سئو : اسپایدر یا Crawlers چیست؟ رایگان
8 40 نکته مهم در سئو : تبلیغات کلیکی یـا PPC چیست؟ رایگان
9 40 نکته مهم در سئو : وب دایرکتوری یا Web Directory چیست؟ رایگان
10 40 نکته مهم در سئو : محتوای تکراری یا Duplicate Content چیست؟ رایگان
11 40 نکته مهم در سئو : خوراک وب یا RSS Feed چیست؟ رایگان
12 40 نکته مهم در سئو : صفحات ورود یا DoorWay Page چیست؟ رایگان
13 40 نکته مهم در سئو : فایل اچ تی اکسس یا .Htaccess چیست؟ رایگان
14 40 نکته مهم در سئو : تگ هدینگ چیست؟ رایگان
15 40 نکته مهم در سئو : Visits ، Views و Hits چیست؟ رایگان
16 40 نکته مهم در سئو : Inbound Links یا Outbound Links چیست؟ رایگان
17 40 نکته مهم در سئو : دیده شدن یا Impression چیست؟ رایگان
18 40 نکته مهم در سئو : ارتباط معنایی پنهان یا LSI Keyword چیست؟ رایگان
19 40 نکته مهم در سئو : متا تگ توضیحات یا Meta Description Tag چیست؟ رایگان
20 بازاریابی گوشه یا Niche Marketing در سئو چیست؟ رایگان
21 40 نکته مهم در سئو : سئوی منفی یا Negative SEO چیست؟ رایگان
22 40 نکته مهم در سئو : سئو ارگانیک یا Organic SERP چیست؟ رایگان
23 40 نکته مهم در سئو : مجازات گوگل یا Google Penalties چیست؟ رایگان
24 40 نکته مهم در سئو : پیج رنک یا Page Rank چیست؟ رایگان
25 40 نکته مهم در سئو : نرخ بازگشت سرمایه یا ROI چیست؟ رایگان
26 40 نکته مهم در سئو : ریدایرکت 301 یا Redirect 301 چیست؟ رایگان
27 40 نکته مهم در سئو : نقشه سایت یا SiteMap چیست؟ رایگان
28 40 نکته مهم در سئو : اهمیت کیفیت بر کمیت چیست؟ رایگان
29 40 نکته مهم در سئو : رتبه اعتماد یا Trust Rank چیست؟ رایگان
30 40 نکته مهم در سئو : فایل متنی robot.txt چیست؟ رایگان
31 40 نکته مهم در سئو : کاربردپذیری چیست؟ رایگان
32 40 نکته مهم در سئو : ریچ اسنیپت (Rich Snippet) چیست؟ رایگان
33 40 نکته مهم در سئو : جعبه شن یا Sandbox چیست؟ رایگان
34 40 نکته مهم در سئو : کش یا حافظه نهان چیست؟ رایگان
35 40 نکته مهم در سئو : رتبه الکسا چیست؟ رایگان
36 40 نکته مهم در سئو : ترافیک بازگشتی چیست؟ رایگان
37 40 نکته مهم در سئو : هاتلینکینگ یا سرقت پهنای باند چیست؟ رایگان
38 40 نکته مهم در سئو : کلوکینگ چیست؟ رایگان
39 40 نکته مهم در سئو : Splash page ، Reciprocal link ، Bait Switch رایگان
40 40 نکته مهم در سئو : سئو کلاه سیاه و سئو کلاه سفید چیست؟ رایگان
زمان و قیمت کل 0″ 0
0 نظر

هیچ نظری ارسال نشده است! اولین نظر برای این مطلب را شما ارسال کنید...

نظر شما
برای ارسال نظر باید وارد شوید.
از سرتاسر توسینسو
تنظیمات حریم خصوصی
تائید صرفنظر
×

تو می تونی بهترین نتیجه رو تضمینی با بهترین های ایران بدست بیاری ، پس مقایسه کن و بعد خرید کن : فقط توی جشنواره تابستانه می تونی امروز ارزونتر از فردا خرید کنی ....