بررسی مفهوم Crawler و Spider در سئو
حتما شما هم تا به حال لغتی به نام خزنده ها یا اسپایدرهای موتورهای جستجو را شنیده اید.زمانیکه شما تصمیم می گیرید که به عنوان یک متخصص سئو وارد بازار کار شوید و در واقع در این حوزه و حیطه فعالیت کنید باید به خوبی اصطلاحات سئو را بدانید و با نحوه ی کار و عملکرد موتورهای جستجو نیز آشنا باشید از این رو مبحث خزنده های موتورهای جستجو اهمیت دارد.در ادامه با توسینسو همراه باشید.
دوره های شبکه، برنامه نویسی، مجازی سازی، امنیت، نفوذ و ... با برترین های ایران
سرفصل های این مطلب
Spider یـا Crawlers چیست؟
واژه ی انگلیسی اسپایدر (Spider) در زبان فارسی به معنی عنکبوت است و البته به دلیل ماهیت رفتاری جانور عنکبوت به آن خزنده (Crawlers) نیز می گویند. اما شاید این سوال برای شما هم پیش بیاید که اصلا عنکبوت چه ربطی به موتورهای جستجو دارد؟ خب در اینجا باید این طور بگویم که در واقع موتورهای جستجو دارای خزنده ها یا همان عنکبوت هستند (به این نکته توجه کنید که عنکبوت یا خزنده های موتور جستجو یکی هستند و هیچ تفاوتی با هم ندارند) و بدون این عنکبوت ها در واقع هیچ کاری از دست موتورهای جستجو ساخته نیست.نمیدانم که فیلم سینمایی مرد عنکبوتی را دیده اید یا نه؟!!
اما باید بگم که اسپایدرهای موتورهای جستجو نیز عملکردی درست شبیه به مرد عنکبوتی دارند. در داستان این فیلم ، مرد عنکبوتی کسی بود که با نخ یا تارهایی که ایجاد می کرد به برج ها و ساختمان ها متصل می شد و یکی پس از دیگری آنها را پشت سر می گذاشت. حتی اگر این فیلم را هم ندیده باشید قطعا در دنیای واقعی عنکبوت را دیده اید که چطور تار ایجاد می کند و به وسیله ی این تار خود ساخته حرکت می کند.
عملکرد عنکبوت های وب نیز به همین ترتیب است آنها بوسیله ی لینک هایی که در صفحات مختلف وب ایجاد شده است از یک صفحه به صفحه ی دیگر متصل میشوند و یکی پس از دیگری از همه ی صفحات وب دیدن می کنند در نهایت آنها را در یک پایگاه داده فهرست می کنند تا زمانیکه کاربر کلمه یا عبارتی را در موتور جستجو سرچ کرد از میان همان پایگاه داده حرکت کنند و صفحات را چیدمان کنند و نتایج را نمایش دهند.
در واقع گاهی اوقات این سوال برای برخی از افراد پیش میاید که : یعنی همان موقع که ما یک کلمه را جستجو می کنیم موتور جستجو میلیون ها صفحه را میبیند و نمایش می دهد؟ باید بگویم خیر، در واقع شاید این تعداد صفحات میلیون ها باشد وتعدادشان بسیار باشد ولی عنکبوت ها قبلا مطالبی را که در دنیای اینترنت منتشر شده است دیده اند و آنها را در پایگاه داده خود جمع آوری کرده اند و این خزنده ها بر اساس سیاست های خاصی این کار را انجام می دهند و یکی از دلایل آن هم این است که محتوای تکراری را مجددا دانلود نکنند.
اگر بخواهیم یک تعریف جامع و کامل از اسپایدرهای وب داشته باشیم باید این طور بگوییم که : نرم افزاری است که با تار انداختن از یک صفحه وب به صفحات دیگر (خزیدن) محتوا ها را بررسی و ایندکس می کند. به لینک هایی که به خزنده ها کمک می کند تا راحت تر صفحات مرتبط با موضوع و با کیفیت را پیدا کنند Feed گفته میشود. که واژه ی انگلیسی Feed در زبان ما به معنی غذا دادن ، غذا خوردن و یا تغذیه کردن است بنابراین متوجه می شویم که اسپایدرها از لینک ها تغذیه می کنند
به همین خاطر است گفته می شود عملیات لینک سازی در صفحات وبسایت را به درستی انجام دهید تا این خزنده های وب نیز به خوبی تفذیه شوند. به خزنده های موتورهای جستجو اسپایدرهای وب ، ربات ها ، فهرست کننده اتوماتیک ، ربات وب ، عنکبوت وب و... نیز می گویند.اگر این عنکبوت ها نباشند در واقع موتور جستجو و نتایجی هم نخواهد بود.بنابراین آنها به اعتبارسنجی کدهای HTML و Hyperlink ها کمک می کنند.
ساختار کاری عنکبوت های وب
همان طور که گفته شد اسپایدرها بر اساس یک سری سیاست های کاری خاصی عمل می کنند که به توضیح مختصری از آنها می پردازیم :
- Selection Policy : همان طور که از معنی فارسی این واژه پیداست یعنی سیاست در گزینش ، اسپایدرهای وب در گام اول مشخص می کنند که ابتدا باید چه صفحاتی را Index کنند تا پایگاه داده شان تشکیل شود.
- Re - Visit Policy : یعنی بررسی مجدد ، بعد از اینکه صفحات وب دیده و فهرست شد اسپایدرها مشخص می کنند که در چه تایم ها و زمان هایی باید مجددا صفحات را بررسی کنند.
- Politness Policy : در این مرحله معمولا اسپایدرها به گونه ای می خزند و صفحات را بررسی می کنند که وبسایت Overload نداشته باشد.(و البته اسپایدرها به این موضوع دقت دارند که صفحه ای را به صورت تکراری دانلود نکنند)
- Parallization Policy : در این مرحله مشخص می کنند که چگونه پخش شوند تا هماهنگی با یکدیگر داشته باشند و این هم باز به اهمیت این موضوع که صفحات وب تکراری ایندکس نشوند اشاره دارد.
به تصویر زیر دقت کنید تا بیشتر با نحوه ی کار یک اسپایدار موتورجستجو آشنا شوید :
نحوه ی کار در سه مرحله صورت می گیرد : 1.خزیدن 2.ایندکسر 3.نرم افزار موتور جستجو
مرحله 1 : خزیدن
- ابتدا هر مطلبی که توسط شخصی در اینترنت منتشر و تولید می شود توسط موتورهای جستجو بررسی می شود و اسپایدرهای وب شروع به حرکت و خزیدن می کنند.
مرحله 2 : ایندکسر
- اطلاعاتی را جمع آوری می کنند و آنها را در پایگاه داده خود ذخیره می نمایند.
مرحله 3 : نرم افزار موتور جستجو
- کاربر کلمه ای را سرچ می کند.
- خزنده ها در پایگاه داده خود سرچ می کنند تا بهترین نتایج را بدست آورند.
- نتایج را رتبه بندی کرده و برای کاربر نمایش می دهند.
امیدوارم که پس از خواندن این مقاله به خوبی با مفهوم اسپایدرها و یا خزنده های وب آشنا شده باشید و به چگونگی عملکرد آنها در دنیای وب پی برده باشید.درنهایت اگر مطالعه این مقاله برای شما مفید واقع شد حتما آنرا با دیگران هم به اشتراک بگذارید تا استفاده کنند. توسینسو باشید.