52,scrapy持久化存储

　　01基于终端指令

要求：只可以将parse方法返回值存储到本地的文本文件中，不可存储到数据库中。

当前parse方法中无返回值，不可实现终端指令方式存储，author和content只是函数中for循环的局部变量此处直接return无法得到其内容。故将author与content都字典形式封装

all_data=[]dic={author:author,content:content}all_data.append(dic)之后

returnall_data输入指令

scrapycrawlqiubai-o./qiubai.csv返回的all_data内容全部保存到当前文件目录下名为qiubai.csv的文件中。若输入

scrapycrawlqiubai-o./qiubai.txt则会出现

注：持久化存储支持的类型只可以为：json,jsonlines,jl,csv,xml,marshal,pickle，不支持TXT格式文件存储。通常存为json或csv文件中

通用指令即为

scrapycrawlxxx-ofilepath-好处：简捷高效便-坏处：局限性比较强（数据只能存储到指定后缀文本文件中）qiubai.py的源码为

importscrapyclassQiubaiSpider(scrapy.Spider):name=qiubai#allowed_domains=[

转载请注明：http://www.lwblm.com/bzbk/12484.html