Bug Fixes

1. 修复mongodb游标bug导致查询数据不全
2. 修复format_time时间提取不准确的问题

更新

1. 完善 tools.format_time函数

更新

1. 日志支持带颜色输出，且支持更多的配置
2. 强化 tools.format_time 函数

更新

1. 下载时间间隔支持随机
2. 生成的项目包含爬虫文档及数据校验文档

更新

1. 爬虫支持重复运行

举例说明

import feapder


class AirSpiderDemo(feapder.AirSpider):
    def start_requests(self):
        yield feapder.Request("https://www.baidu.com")

    def parse(self, request, response):
        print(response)


if __name__ == "__main__":
    # 循环运行，本次结束后马上开始下一次
    spider = AirSpiderDemo()
    while True:
        spider.start()
        spider.join() # 等待结束

    # 直接开启10个爬虫
    # for i in range(10):
    #     spider = AirSpiderDemo()
    #     spider.start()

Bug Fixes

1. 修复浏览器渲染 不自动拼装绝对连接问题

更新

1. 邮件报警支持自定义邮件服务器
2. 配置文件整理

更新

1. 浏览器渲染支持自定义参数
2. 支持firefox浏览器渲染
3. redis 断开自动重连
4. 优化mongo入库效率
5. feapder create 支持创建cookie、配置文件
6. 配置文件新增REQUEST_TIMEOUT参数

更新

1. 支持mongo存储
2. Request支持携带非基本类型的数据
3. AirSpider 支持爬虫开始与结束的回调函数

Bug Fixes

1. 修复拼接sql时与数据库保留关键字冲突问题
2. 解决redis2.x 3.x版本不兼容问题，即3.x存储dict、list、tuple报错问题
3. 修复创建item，因不同库有同名表导致item字段不准确问题

更新

1. 浏览器渲染模式下response携带browser, 可操控浏览器
2. download_midware 支持自定义下载, 不使用框架内置下载器

    def download_midware(self, request):
        response = requests.get(request.url)
        return request, response

Bug Fixes

1. render_time 参数不存在bug