Scrapy
اسکرپای
[ویرایش]توسعهدهنده(ها) | Zyte (formerly Scrapinghub) |
---|---|
انتشار اولیه | ۲۶ ژوئن ۲۰۰۸ |
انتشار پایدار | 2.4.1
/ ۱۷ نوامبر ۲۰۲۰[۱] |
مخزن | |
نوشتهشده با | Python |
سیستمعامل | Windows, macOS, Linux |
در دسترس به | English |
نوع | Web crawler |
مجوز | BSD License |
Scrapy (/ˈskreɪpaɪ/ SKRAY-peye) چارچوب رایگان و منبع باز خزنده-وب است٫ نوشته شده در پایتون. در اصل برای خزیدن وب (crawl) طراحی شدهاست، اما میتوان برای استخراج دادهها با استفاده از API یا به عنوان یک خزنده وب همه-منظوره نیز مورد استفاده قرار گیرد.[۲] در حال حاضر توسط Zyte (formerly Scrapinghub) ٫شرکت توسعه و خدمات خزش وب، نگهداری میشود.
معماری پروژه Scrapy براساس «عنکبوت» (spiders) ساخته شدهاست٫ این عنکبوتها خزندههایی مستقل هستند و براساس یک سری دستورالعمل که به آنها داده میشود به خزش وب میپردازند. اسکرپای با پیروی از دیگر چارچوبهایی که بر اساس اصل خود را تکرار نکنید (DRY)، مانند جنگو٫[۳] توسعه یافتهاست. این پروژه مراحل ساخت و توسعه پروژههای بزرگ خزنده را با اجازه دادن به توسعهدهندگان برای استفاده مجدد از کد خود٫ آسان میکند. Scrapy پوستهای تعاملی (shell) برای خزیدن وب فراهم میکند، که به توسعه دهندگان این اجازه را میدهد تا حدس و گمانهای خود نسبت به کارکرد وبسایتها را قبل از توسعه خزنده آزمایش کنند و سریعاً کدهای خود را بدون استفاده از عنکبوتها (spiders) مشکلزدایی (Debug) کنند. این shell برای تست css expressions و XPath طراحی شده و توسعهدهنده میتواند به نحوه کارکرد وبسایت و راه استخراج دیتا پیببرد.
بعضی از شرکتهای بزرگ و شناخته شده که از این چارچوب استفاده میکنند عبارتاند از
[ویرایش]Lyst, Parse.ly, Sayone Technologies, Sciences Po Medialab, Data.gov.uk
[ویرایش]تاریخ
[ویرایش]اسکراپی در شرکتی فعال در زمینه وب و تجارت الکترونیک مستقر در لندن، Mydeco متولد شد و در آنجا توسط کارمندان Mydeco و Insophia (یک شرکت مشاوره وب مستقر در مونته ویدئو، اروگوئه) توسعه و نگهداری شد. اولین انتشار عمومی در اوت ۲۰۰۸ تحت مجوز BSD بود، و نسخه برجسته ۱٫۰ در ژوئن ۲۰۱۵ انتشار یافت.[۴] در سال ۲۰۱۱، Zyte (Scrapinghub سابق) نگهدارنده رسمی جدید این پروژه شد.[۵]
منابع
[ویرایش]- ↑ "Release notes — Scrapy documentation". doc.scrapy.org (به انگلیسی). Retrieved 18 November 2020.
- ↑ Scrapy at a glance.
- ↑ "Frequently Asked Questions". Retrieved 28 July 2015.
- ↑ "Scrapy 1.0 official release out!". https://groups.google.com/forum/#!topic/scrapy-users/sMbBVIq0sko.
- ↑ Interview Scraping Hub.
- یادداشتهای انتشار - مستندات پروژه اسکرپای
- اسکرپای در یک نگاه
- سوالات پرتکرار
- پوسته اسکرپای (Scrapy Shell)
5. Bell, Eddie; Heusser, Jonathan ,"Scalable Scraping Using Machine Learning" بایگانیشده در ۹ اکتبر ۲۰۱۶ توسط Wayback Machine
۶. اسکرپای | شرکتهایی که از این پروژه استفاده میکنند