خزنده وب

از ویکی‌پدیا، دانشنامهٔ آزاد
(تغییرمسیر از خزندهٔ وب)

خزندهٔ وب، (انگلیسی: Web Crawler)[۱] یک برنامه رایانه‌ای است که توانایی مرور و ثبت اطلاعات را از وب‌سایت‌ها به صورت خودکار دارد. «خزندهٔ وب» به چندین شکل مختلف تعریف می‌شود که برخی از آنان:

  • عنکبوت‌های وب (انگلیسی: Web Spider)
  • فهرست سازان خودکار (انگلیسی: Automatic Indexers)
  • ربات‌های نرم‌افزاری خودکار (انگلیسی: Web Robots)
  • نرم‌افزارهای FOAF.[۲]
  • ...

را شامل می‌شود.

دلایل استفاده[ویرایش]

به عنوان مثال موتورهای جستجوگر با بهره‌گیری از این گونه نرم‌افزارها به صورت خودکار صفحات مختلف وب سایت‌ها را ثبت، آنالیز و رده‌بندی می‌کنند.

نمونه‌ها[ویرایش]

نمونه‌های متن‌باز[ویرایش]

  • Frontena
  • GNU Wget
  • GRUB
  • Heritrix
  • ht://Dig
  • HTTrack
  • mnoGoSearch
  • news-please
  • Apache Nutch
  • Open Search Server
  • PHP-Crawler
  • Scrapy
  • Seeks
  • Sphinx
  • StormCrawler
  • Xapian
  • YaCy
  • Octoparse

منابع[ویرایش]