حتما شما هم تا به حال لغتی به نام خزنده ها یا اسپایدرهای موتورهای جستجو را شنیده اید.زمانیکه شما تصمیم می گیرید که به عنوان یک متخصص سئو وارد بازار کار شوید و در واقع در این حوزه و حیطه فعالیت کنید باید به خوبی اصطلاحات سئو را بدانید و با نحوه ی کار و عملکرد موتورهای جستجو نیز آشنا باشید از این رو مبحث خزنده های موتورهای جستجو اهمیت دارد.در ادامه با توسینسو همراه باشید.
واژه ی انگلیسی اسپایدر (Spider) در زبان فارسی به معنی عنکبوت است و البته به دلیل ماهیت رفتاری جانور عنکبوت به آن خزنده (Crawlers) نیز می گویند. اما شاید این سوال برای شما هم پیش بیاید که اصلا عنکبوت چه ربطی به موتورهای جستجو دارد؟ خب در اینجا باید این طور بگویم که در واقع موتورهای جستجو دارای خزنده ها یا همان عنکبوت هستند (به این نکته توجه کنید که عنکبوت یا خزنده های موتور جستجو یکی هستند و هیچ تفاوتی با هم ندارند) و بدون این عنکبوت ها در واقع هیچ کاری از دست موتورهای جستجو ساخته نیست.نمیدانم که فیلم سینمایی مرد عنکبوتی را دیده اید یا نه؟!!
اما باید بگم که اسپایدرهای موتورهای جستجو نیز عملکردی درست شبیه به مرد عنکبوتی دارند. در داستان این فیلم ، مرد عنکبوتی کسی بود که با نخ یا تارهایی که ایجاد می کرد به برج ها و ساختمان ها متصل می شد و یکی پس از دیگری آنها را پشت سر می گذاشت. حتی اگر این فیلم را هم ندیده باشید قطعا در دنیای واقعی عنکبوت را دیده اید که چطور تار ایجاد می کند و به وسیله ی این تار خود ساخته حرکت می کند.
عملکرد عنکبوت های وب نیز به همین ترتیب است آنها بوسیله ی لینک هایی که در صفحات مختلف وب ایجاد شده است از یک صفحه به صفحه ی دیگر متصل میشوند و یکی پس از دیگری از همه ی صفحات وب دیدن می کنند در نهایت آنها را در یک پایگاه داده فهرست می کنند تا زمانیکه کاربر کلمه یا عبارتی را در موتور جستجو سرچ کرد از میان همان پایگاه داده حرکت کنند و صفحات را چیدمان کنند و نتایج را نمایش دهند.
در واقع گاهی اوقات این سوال برای برخی از افراد پیش میاید که : یعنی همان موقع که ما یک کلمه را جستجو می کنیم موتور جستجو میلیون ها صفحه را میبیند و نمایش می دهد؟ باید بگویم خیر، در واقع شاید این تعداد صفحات میلیون ها باشد وتعدادشان بسیار باشد ولی عنکبوت ها قبلا مطالبی را که در دنیای اینترنت منتشر شده است دیده اند و آنها را در پایگاه داده خود جمع آوری کرده اند و این خزنده ها بر اساس سیاست های خاصی این کار را انجام می دهند و یکی از دلایل آن هم این است که محتوای تکراری را مجددا دانلود نکنند.
اگر بخواهیم یک تعریف جامع و کامل از اسپایدرهای وب داشته باشیم باید این طور بگوییم که : نرم افزاری است که با تار انداختن از یک صفحه وب به صفحات دیگر (خزیدن) محتوا ها را بررسی و ایندکس می کند. به لینک هایی که به خزنده ها کمک می کند تا راحت تر صفحات مرتبط با موضوع و با کیفیت را پیدا کنند Feed گفته میشود. که واژه ی انگلیسی Feed در زبان ما به معنی غذا دادن ، غذا خوردن و یا تغذیه کردن است بنابراین متوجه می شویم که اسپایدرها از لینک ها تغذیه می کنند
به همین خاطر است گفته می شود عملیات لینک سازی در صفحات وبسایت را به درستی انجام دهید تا این خزنده های وب نیز به خوبی تفذیه شوند. به خزنده های موتورهای جستجو اسپایدرهای وب ، ربات ها ، فهرست کننده اتوماتیک ، ربات وب ، عنکبوت وب و... نیز می گویند.اگر این عنکبوت ها نباشند در واقع موتور جستجو و نتایجی هم نخواهد بود.بنابراین آنها به اعتبارسنجی کدهای HTML و Hyperlink ها کمک می کنند.
همان طور که گفته شد اسپایدرها بر اساس یک سری سیاست های کاری خاصی عمل می کنند که به توضیح مختصری از آنها می پردازیم :
به تصویر زیر دقت کنید تا بیشتر با نحوه ی کار یک اسپایدار موتورجستجو آشنا شوید :
نحوه ی کار در سه مرحله صورت می گیرد : 1.خزیدن 2.ایندکسر 3.نرم افزار موتور جستجو
مرحله 1 : خزیدن
مرحله 2 : ایندکسر
مرحله 3 : نرم افزار موتور جستجو
امیدوارم که پس از خواندن این مقاله به خوبی با مفهوم اسپایدرها و یا خزنده های وب آشنا شده باشید و به چگونگی عملکرد آنها در دنیای وب پی برده باشید.درنهایت اگر مطالعه این مقاله برای شما مفید واقع شد حتما آنرا با دیگران هم به اشتراک بگذارید تا استفاده کنند. توسینسو باشید.