AttributeError:FeedExporter object has no attribute slot

使用scrapy时候你报错:

AttributeError: ‘FeedExporter’ object has no attribute ‘slot’

因为当前需要写入的文件被占用,写不进去!

解决方法,关闭打开的 csv文件

scrapy的内置服务介绍

1 logging日志服务

logging的等级:

  1. logging.CRITICAL - for critical errors (highest severity)
  2. logging.ERROR - for regular errors
  3. logging.WARNING - for warning messages
  4. logging.INFO - for informational messages
  5. logging.DEBUG - for debugging messages (lowest severity)

    基本使用方法

三种基本使用方法:

pycharm下打开执行并调试scrapy爬虫程序

  1. 首先得有一个Scrapy项目,我在Desktop上新建一个Scrapy的项目叫test,在Desktop目录打开命令行,键入命令:scrapy startproject test1

scrapy的重要对象request和response

scrapy的重要对象

web服务器收到客户端的HTTP请求,会针对每一次请求分别创建一个用于代表请求的request对象和代表响应的response对象。

  1. 要得到客户机提交过来的数据,只需要找request对象就行了。

  2. 要向客户机输出数据,只需要找response对象就行了。

爬取汽车之家实战

1. 任务简介 及 爬虫架构极

前面学习了,爬虫的基本架构。现在要动手实践了,因为师兄说“学一门语言就必须上手去练习!”。

爬取哪个网站呢?正好,最近需要汽车之家上面的数据, 我就爬这个。本文代码全部共享于GitHub上,地址爬取汽车之家实战:github

目标:爬取100种汽车的名字,以及网友对它的评分。

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×