带你搞懂Scrapy与MongoDB交互过程详细记录

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，它常被用于数据挖掘或存储历史数据到数据库中，MongoDB是一种非关系型数据库，使用BSON（类似JSON）格式存储数据。

在本文中，我们将详细介绍如何使用Scrapy与MongoDB进行交互，我们需要安装这两个库，可以使用pip命令进行安装：

pip install scrapy
pip install pymongo

接下来，我们创建一个Scrapy项目：

scrapy startproject myproject

我们在项目的settings.py文件中添加以下配置，以启用MongoDB的存储后端：

MONGO_URI = 'mongodb://localhost:27017/'
MONGO_DATABASE = 'mydatabase'

现在，我们可以开始创建爬虫了，我们需要在spiders文件夹中创建一个名为myspider.py的文件，并在其中定义我们的爬虫：

import scrapy
from scrapy_mongodb import MongoClient
class MySpider(scrapy.Spider):
    name = 'myspider'
    client = MongoClient()
    db = client['mydatabase']
    collection = db['mycollection']
    def start_requests(self):
        urls = ['http://example.com']
        for url in urls:
            yield scrapy.Request(url=url, callback=self.parse)
    def parse(self, response):
        item = {
            'title': response.css('title::text').get(),
            'link': response.url,
        }
        yield item

在这个爬虫中，我们首先导入了所需的库，并定义了一个名为MySpider的爬虫类，在这个类中，我们定义了MongoDB的连接信息，并在start_requests方法中指定了要爬取的URL，在parse方法中，我们从响应中提取了标题和链接，并将它们存储在一个字典中，我们使用yield关键字将这个字典返回给Scrapy。

接下来，我们需要在项目的pipelines.py文件中添加一个名为MongoPipeline的管道类，以处理从爬虫返回的数据：

class MongoPipeline(object):
    def __init__(self):
        connection = pymongo.MongoClient()
        db = connection['mydatabase']
        self.collection = db['mycollection']
    def process_item(self, item, spider):
        self.collection.insert(dict(item))
        return item

在这个管道类中，我们首先建立了与MongoDB的连接，并选择了要使用的数据库和集合，我们定义了一个名为process_item的方法，该方法接收一个item参数和一个spider参数，在这个方法中，我们将item插入到MongoDB中，并返回item，这样，Scrapy就会知道如何处理这个item了。

我们需要在settings.py文件中启用这个管道：

ITEM_PIPELINES = {'scrapy_mongodb.MongoPipeline': 1}

现在，我们可以运行我们的爬虫了：

scrapy crawl myspider o items.json t json

这将爬取指定的URL，并将结果保存到一个名为items.json的文件中，我们可以使用以下命令查看MongoDB中的记录：

mongo mydatabase u myuser p mypassword authenticationDatabase admin host localhost port 27017 eval "db.mycollection.find()"

通过以上步骤，我们已经成功地将Scrapy与MongoDB进行了集成，现在，让我们来看一下一些可能遇到的问题及其解决方案。

问题1：为什么我无法连接到MongoDB？

答：请确保您已经正确安装了MongoDB，并使用了正确的连接信息，检查防火墙设置以确保端口27017是开放的，如果问题仍然存在，请尝试重启MongoDB服务。

问题2：为什么Scrapy没有将数据存储到MongoDB中？

答：请确保您已经在settings.py文件中启用了MongoPipeline管道，检查您的管道类是否正确实现了process_item方法，如果问题仍然存在，请检查您的数据库和集合名称是否正确。