Scrapy (читается как "скрэй-пай") – это бесплатный фреймворк для веб-краулинга находящийся в открытом доступе, который написан на языке программирования Python. Изначально задумывался для веб-скрейпинга , однако также может использоваться для извлечения информации используя API или же как веб краулер общего применения. В настоящее время фреймворк обслуживается компанией Scrapinghub Ltd., которая разрабатывает и предоставляет услуги в сфере веб-скрейпинга.

Архитектура проекта Scrapy построена вокруг «пауков», которые по сути являются автономными краулерами с заданными инструкциями. Следуя другим фреймворкам которые работают по принципу don't repeat yourself (DRY) , таких как Django , это упрощает создание и масштабирование больших проектов обхода контента, позволяя разработчикам повторно использовать свой код. Scrapy также предоставляет командную оболочку для веб-краулинга, которую разработчики могут использовать для проверки своих предположений о поведении сайта.

Некоторые известные компании и продукты, использующие Scrapy: Lyst, Parse.ly, Sayone Technologies , Sciences Po Medialab, государственный сайт Великобритании Data.gov.uk. от 16 августа 2018 на Wayback Machine

История

Scrapy создавался в лондонской компании Mydeco, занимающейся веб-агрегацией и электронной торговлей, где ее разработали и поддерживали сотрудники Mydeco и Insophia (консалтинговая компания из Монтевидео , Уругвай). Первый публичный релиз был в августе 2008 года под лицензией BSD , а релиз Milestone 1.0 был выпущен в июне 2015 года. В 2011 году Scrapinghub стал новым официальным мейнтейнером.

Примечания

Ссылки