JSPM

  • ESM via JSPM
  • ES Module Entrypoint
  • Export Map
  • Keywords
  • License
  • Repository URL
  • TypeScript Types
  • README
  • Created
  • Published
  • Downloads 36
  • Score
    100M100P100Q46668F

Scrapy Framework implemented by nodejs.

Package Exports

  • tai-spider
  • tai-spider/index.js

This package does not declare an exports field, so the exports above have been automatically detected and optimized by JSPM instead. If any package subpath is missing, it is recommended to post an issue to the original package (tai-spider) to support the "exports" field. If that is not possible, create a JSPM override to customize the exports field for this package.

Readme

Tai Spider

Tai Spider

Scrapy框架的nodejs版本。

动机

虽然Nodejs天然就非常适合用来开发爬虫,但是目前在Nodejs领域使用最广泛的爬虫框架 node-crawler 比起 scrapy 来说,功能显得过于简单,无法满足企业化爬虫的开发需求。为此,本项目借鉴 scrapy 的功能特点,使用Nodejs进行的重写,力图为Nodejs程序员提供一个可用好用的爬虫框架。

说明

  • 支持JsonResponse,可使用response.getJSON()方法获取返回的JSON对象

文档

参考手册可以访问:TaisSpider In Action

例子

使用 TaiSpider 框架开发的爬虫例子: tai-spider-example

Author: Edward Zhu<zhuhy163#163.com>