بسیاری از مردم گوگل را مهم ترین بخش از اینترنت می شناسند، گوگل مهم ترین اختراع از اینترنت است که به وسیله آن می توان سایت های جدید را پیدا کرد. بدون موتورهای جستجو ، دسترسی به وب های جدید غیرممکن می شود.
آیا می دانید موتورهای جستجو چگونه کار می کنند؟ هر موتور جستجو سه عملکرد مهم دارد: دنبال کردن (برای کشف محتوا)، نمایه سازی (برای ردیابی و ذخیره محتوا) و بازیابی (بارگیری محتوای مربوطه هنگام استفاده از موتورهای جستجو).
دنبال کردن
جایی است که همه چیز شروع می شود: کسب اطلاعات در مورد یک وب سایت با دنبال کردن شروع می شود. دنبال کردن شامل اسکن کردن سایت ها، جمع آوری اطلاعات در مورد هر صفحه می باشد: عنوان ها، تصاویر، کلمات کلیدی، سایر صفحات مرتبط و … .
دنبال کننده های مختلف می توانند جزئیات متفاوتی را جستجو کنند: مانند طرح بندی صفحات، جایی که آگهی ها قرار می گیرند و اینکه آیا پیوندها در آن قرار گرفته اند یا نه!
اما چگونه یک وب سایت خالی می شود؟ یک ربات خودکار (به نام “عنکبوت”)، نرم افزاری است که کار جمع آوری اطلاعات مورد نیاز یک موتور جستجوگر را بر عهده دارد. اسپایدر(عنکبوت) به صفحات مختلف سر می زند، محتوای آنها را می خواند، لینک ها را دنبال می کند، اطلاعات مورد نیاز را جمع آوری می کند و آن را در اختیار سایر بخش های موتور جستجوگر قرار می دهد.
هنگامی که یک دنبال کننده وب از یک صفحه بازدید می کند، تمام لینک های صفحه را جمع می کند و آنها را به لیستی از صفحات بعدی برای بازدید می دهد. دنبال کننده به صفحه بعدی در فهرست خود می رود، پیوندهای مربوط به آن صفحه را جمع آوری می کند و تکرار می کند. دنبال کننده های وب یک بار در یک زمان به صفحات گذشته باز می گردند تا ببینند آیا تغییرات رخ داده است یا خیر و با توجه به تغییرات فهرست ها را به روز می کنند.
هر سایتی که از یک سایت نمایه شده پیوند دارد، سرانجام کاوش خواهد شد. برخی از سایت ها مرتبا بارگیری می شوند و برخی از آنها به عمق بیشتری فرو می روند، اگر یک سلسله مراتب وب سایت بسیار پیچیده باشد امکان از بین رفتن دنبال کننده وجود خواهد داشت.
برای آشنایی با کار دنبال کننده می توانید یکی بسازید. اگر با زبان برنامه نویسی آشنا هستید یک وب تحت PHP ایجاد کنید.
توجه داشته باشید که صفحات را می توان به عنوان “noindex” علامت گذاری کرد که مانند درخواست موتورهای جستجو برای جست وجوی آن می باشد. بخش های غیر شاخص از اینترنت، صفحاتی که موتورهای جستجو نمی توانند آن ها را پیدا کنند، به عنوان “وب عمیق” شناخته می شوند و برخی از سایت ها، مانند کسانی که در شبکه TOR میزبانی می شوند، نمی توانند توسط موتورهای جستجو نمایه شوند.
نمایه سازی
نمایه سازی زمانی است که داده ها از دنبال کردن پردازش شده و در یک پایگاه داده قرار می گیرند.
تصور کنید که لیستی از تمام کتابهایی که متعلق به شما، ناشران، نویسندگان، ژانرهای آنها، تعداد صفحات و … است، ایجاد کنید. هر کتابی را در حالی که نمایه سازی شده است به لیست خود وارد کنید. حال دنبال کردن اتفاق می افتد.
در اینجا منظور یک اتاق پر از کتاب نیست، هر کتابخانه در جهان است. این یک نسخه کوچک از کار گوگل می باشد، که تمام این داده ها را در مراکز داده وسیع ذخیره می کند و در هزاران درایو مجاز قرار داده است.
مراکز داده جستجوی Google را بررسی می کنیم:
بازیابی و رتبه بندی
بازیابی زمانی است که موتور جستجوی پرس و جوی شما را پردازش می کند و صفحات مربوطه را مطابق با درخواست شما باز می کند.
موتورهای جستجو از طریق روش های بازیابی خود متمایز می شوند: برای انتخاب صفحات مناسب با آنچه که می خواهید پیدا کنید می توانید از معیارهای مختلف بهره ببرید. به همین دلیل است که نتایج جستجو بین گوگل و بینگ متفاوت است و Wolfram Alpha به طرز منحصر به فردی مفید است.
الگوریتم رتبه بندی پرس و جو
جستجوی خود را در برابر میلیاردها صفحه بررسی کنید تا ارتباط هر یک از آنها را تعیین کنید. شرکت ها به دلیل پیچیدگی آنها الگوریتم های رتبه بندی خود را به عنوان اسرار صنعت ثبت شده نگه می دارند. یک الگوریتم بهتر به تجربه جستجوی بهتر تبدیل می شود.
الگوریتم رتبه بندی نمی خواهد به صورت ناعادلانه نتایج جستجو را بالا ببرد، هر کس که دانش بیشتری داشته باشد می تواند موفق تر شود. البته، بهره برداری از موتور جستجو امکان پذیر است، اما کار آسانی نیست.
فرآیند بهینه سازی موتورهای جستجو شامل انتخاب کلید واژه ها می باشد. کلید واژه ها همان کلماتی هستند که وقتی مورد جستجو قرار می گیرند، سایت یا سند ما در صفحات نخست نتایج جستجو ظاهر می شود. انتخاب کلید واژه ها مهم می باشد، کلید واژه ها باید با موضوع سایت مرتبط باشند. اگر اینطور نباشد منجر به پایین آمدن رتبه در سایت می شود. محبوبیت کلید واژه ها به معنای میزان تقاضای آن از طرف کاربران است. هر چه این محبوبیت بیشتر باشد، بدون شک بعد از قرار گیری در رتبه بندی موتور جستجو، ترافیک بیشتری به وجود می آید.