خزنده وب

از ویکی‌پدیا، دانشنامهٔ آزاد
(تغییرمسیر از خزنده‌ی وب)
پرش به: ناوبری، جستجو

خزندهٔ وب، (انگلیسی: Web Crawler) [۱] یک برنامه‌ رایانه‌ای است که توانایی مرور و ثبت اطلاعات را از وب‌سایت‌ها به صورت خودکار دارد. "خزندهٔ وب" به چندین شکل مختلف تعریف می‌شود که برخی از آنان :

  • عنکبوت‌های وب (انگلیسی: Web Spider)
  • فهرست سازان خودکار (انگلیسی: Automatic Indexers)
  • ربات‌های نرم‌افزاری خودکار (انگلیسی: Web Robots)
  • نرم‌افزارهای FOAF .[۲]
  • ...

را شامل می‌شود.

دلایل استفاده[ویرایش]

به عنوان مثال موتورهای جستجوگر با بهره‌گیری از این گونه نرم‌افزارها به صورت خودکار صفحات مختلف وب سایت‌ها را ثبت ، آنالیز و رده‌بندی می‌کند.

نمونه‌ها[ویرایش]

نمونه‌های متن‌باز[ویرایش]

  • Frontena
  • GNU Wget
  • GRUB
  • Heritrix
  • ht://Dig
  • HTTrack
  • mnoGoSearch
  • news-please
  • Apache Nutch
  • Open Search Server
  • PHP-Crawler
  • Scrapy
  • Seeks
  • Sphinx
  • StormCrawler
  • Xapian
  • YaCy
  • Octoparse

منابع[ویرایش]