Package Exports
- tai-spider
- tai-spider/index.js
This package does not declare an exports field, so the exports above have been automatically detected and optimized by JSPM instead. If any package subpath is missing, it is recommended to post an issue to the original package (tai-spider) to support the "exports" field. If that is not possible, create a JSPM override to customize the exports field for this package.
Readme
Tai Spider

Tai Spider
Scrapy框架的nodejs版本。
动机
虽然Nodejs天然就非常适合用来开发爬虫,但是目前在Nodejs领域使用最广泛的爬虫框架 node-crawler 比起 scrapy 来说,功能显得过于简单,无法满足企业化爬虫的开发需求。为此,本项目借鉴 scrapy 的功能特点,使用Nodejs进行的重写,力图为Nodejs程序员提供一个可用好用的爬虫框架。
说明
- 支持JsonResponse,可使用
response.getJSON()方法获取返回的JSON对象
文档
参考手册可以访问:TaisSpider In Action
例子
使用 TaiSpider 框架开发的爬虫例子: tai-spider-example
Author: Edward Zhu<zhuhy163#163.com>