py3.7安装Scrapy及安装时的 Running setup.py install for Twisted ... error 和安装后的 Unhandled error in Deferred:...

本文详细介绍了如何在Python 3.7环境下解决安装Scrapy过程中遇到的Running setup.py install for Twisted...error错误,并给出了安装Twisted和pywin32的具体步骤,确保Scrapy爬虫能正常运行。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

 

1.首先,win+r 进入cmd,打开命令提示符,输入  pip install scrapy  等待自动安装;

2.到了后半段会出现  Running setup.py install for Twisted ... error  这个错误提示(当时我自己百度了去修改文件,结果发现自己根本都没有那个文件夹及文件)

正确操作:手动下载Twisted包并会用pip命令安装

    下载地址:http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

    根据自己py版本及系统下载对应版本安装(注:文件名中cp**,**是你的py版本)

        把下载文件放到你的 python 目录的 Scripts 文件下,在命令行中输入:pip install 自己py的安装路径+Python\Scripts\下载文件

   即可成功安装Twisted库,然后继续命令行输入:pip install scrapy    Scrapy很快被成功安装

4.在命令行中输入scrapy -h,检查是否安装成功

5.重点,一个大坑,这时你如果去运行爬虫,不会管咋样都会失败,提示Unhandled error in Deferred:,因为缺少pywin32,许多安装博客都不会让安装,到第4步戛然而止;

  去:https://www.lfd.uci.edu/~gohlke/pythonlibs/#pywin32   下载pywin32

   下载对应版本跟上方Twisted包一样

下载完成后,打开cmd,cd 进入下载的目录:pip install 下载的文件

到此,你可以正式去运行你的scrapy爬虫了

 

posted on 2019-07-22 08:40 dajie6 阅读( ...) 评论( ...) 编辑 收藏

转载于:https://www.cnblogs.com/dajie/p/11223775.html

V2025-03-18 15:57:52 [scrapy.utils.log] INFO: Scrapy 2.11.2 started (bot: weibo) 2025-03-18 15:57:52 [scrapy.utils.log] INFO: Versions: lxml 5.3.1.0, libxml2 2.11.7, cssselect 1.2.0, parsel 1.9.1, w3lib 2.2.1, Twisted 24.11.0, Python 3.8.5 (t ags/v3.8.5:580fbb0, Jul 20 2020, 15:57:54) [MSC v.1924 64 bit (AMD64)], pyOpenSSL 25.0.0 (OpenSSL 3.4.1 11 Feb 2025), cryptography 44.0.1, Platform Windows-10-10.0.22621-SP0 2025-03-18 15:57:52 [weibo_comment] INFO: Reading start URLs from redis key 'weibo_comment:start_urls' (batch size: 16, encoding: utf-8) 2025-03-18 15:57:52 [scrapy.addons] INFO: Enabled addons: [] 2025-03-18 15:57:52 [asyncio] DEBUG: Using selector: SelectSelector 2025-03-18 15:57:52 [scrapy.utils.log] DEBUG: Using reactor: twisted.internet.asyncioreactor.AsyncioSelectorReactor 2025-03-18 15:57:52 [scrapy.utils.log] DEBUG: Using asyncio event loop: asyncio.windows_events._WindowsSelectorEventLoop 2025-03-18 15:57:52 [scrapy.extensions.telnet] INFO: Telnet Password: ed3efe598fe58086 2025-03-18 15:57:52 [scrapy.middleware] INFO: Enabled extensions: ['scrapy.extensions.corestats.CoreStats', 'scrapy.extensions.telnet.TelnetConsole', 'scrapy.extensions.logstats.LogStats'] 2025-03-18 15:57:52 [scrapy.crawler] INFO: Overridden settings: {'BOT_NAME': 'weibo', 'DOWNLOAD_DELAY': 2, 'DUPEFILTER_CLASS': 'scrapy_redis.dupefilter.RFPDupeFilter', 'FEED_EXPORT_ENCODING': 'utf-8', 'NEWSPIDER_MODULE': 'weibo.spiders', 'REQUEST_FINGERPRINTER_IMPLEMENTATION': '2.7', 'ROBOTSTXT_OBEY': True, 'SCHEDULER': 'scrapy_redis.scheduler.Scheduler', 'SPIDER_MODULES': ['weibo.spiders'], 'TWISTED_REACTOR': 'twisted.internet.asyncioreactor.AsyncioSelectorReactor'} Unhandled error in Deferred: 2025-03-18 15:57:52 [twisted] CRITICAL: Unhandled error in Deferred: Traceback (most recent call last): File "e:\python\lib\site-packages\twisted\internet\defer.py", line 2017, in _inlineCallbacks result = context.run(gen.send, result) File "e:\python\lib\site-packages\scrapy\crawle
最新发布
03-19
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值