Scrapy框架的安装+在Pycharm中项目的创建

最新推荐文章于 2022-08-14 19:57:07 发布
原创 最新推荐文章于 2022-08-14 19:57:07 发布 · 243 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python

本文介绍了Scrapy框架的安装步骤，包括安装必备组件如Twisted和PyWin32等，以及通过pip命令进行Scrapy的安装。文章还提供了安装过程中可能遇到的问题及解决方案，并指导如何创建Scrapy项目。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

scrapy框架的安装

  1. pip install wheel
  2. 下载twisted，下载地址为http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
  3. pip install pywin32
  4. pip install scrapy
  5. 测试：在终端里录入scrapy指令，没有报错即表示安装成功！。

安装过程中遇见的错误

  1. ‘scrapy’ 不是内部或外部命令，也不是可运行的程序

因为没有配置系统变量

解决办法在这里插入图片描述
在编辑中添加scrapy的地址即可在这里插入图片描述
在这里插入图片描述

项目的创建

  1. scrapy startproject xxxPro
    项目的创建
    在这里插入图片描述

  2. 在spiders子目录中创建一个爬虫文件
    在这里插入图片描述
    1. 在创建前先进入FirstName
    ---------cd cd xxxPro
    2. scrapy
    代码如下：

     scrapy genspider spiderName www.xxx.com
 其中spiderName是所创建的名字

3.创建文件的内部结构在这里插入图片描述
在这里插入图片描述

4.成功执行
在这里插入图片描述

初识Scrapy框架（一）——在Pycharm上安装Scrapy
zyw644451的博客
03-30 3414
前言 连着几天学习Python爬虫，今天准备尝试一下Scrapy框架，但是一开始的安装就遇到了很多问题，让我们来解决一下吧。 开始 首先呢，利用伟大的pycharm的自动查找安装第三方包，pycharm可以帮你找到大多数的第三方包，不需要你自己去网上查找和下载了。他会自动查找符合你添加python解释器的第三方模块。 我们打开Pycharm,点击File，settings出现下图的窗口...
python爬虫第一次实战（pycharm+Anaconda+scrapy）
acaointerbill的博客
03-06 1855
1.使用scrapy startproject 文件夹名 创建scrapy的文件结构 2.在pycharm中安装scrapy时，因为缺少依赖包如pywin32或lxml等，因此crawl指令无法使用 3.安装Anaconda，安装时点选将路径加入用户变量，在Anaconda中安装scrapt，将Anaconda中的解释器设置为项目的外部解释器 4.在Anaconda pro...
在pycharm创建scrapy项目
qq_43203949的博客
08-16 1万+
在pycharm创建scrapy项目 步骤很简单，直接进入主题。 第一步： 创建一个python项目。解析器什么的自己选择，环境目录默认就好。 第二步： 下载scrapy，步骤file->settings->project Interpreter 然后下载scrapy,下载前建议更改或添加下载源，否则容易超时出错。 第三步： 左下角找Terminal,点击Terminal进行终端交互，然后输入项目创建命令。scrapy startproject Testscr （Testscr是你对应的项
创建第一个scrapy蜘蛛项目
滇北小生
12-14 4604
创建第一个scrapy蜘蛛文件 上面我们已经成功创建了一个scrapy项目，那我们该在哪里写我们的蜘蛛呢？here，在spiders目录下面： 创建的肯定是我们的.py文件。怎么创建呢？你可以用记事本，也可以用pycharm，建议使用pycharm因为方便！首先你需要把你创建的项目mingyan2在pycharm里面打开，然后右键点击spiders，选中New再选中python
Scrapy第三(②)篇：创建scrapy项目
Good Luck
08-14 4503
修改Anaconda镜像源conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --set show_channel_urls yes此时在C:\Users\Administrator（这里是电脑用户名）下就会生成配置文件.condarcchannels: - https://mirrors.tuna.tsinghua.edu.cn/anaco。...
【Python爬虫：Scrapy】 之 PyCharm 搭建Scrapy环境+创建Scrapy项目 实例
12-21
通过这种方式，你已经成功地在PyCharm中搭建了Scrapy环境并创建了首个Scrapy项目。接下来，你可以运行这个项目，查看爬虫是否能正确抓取和处理数据。在PyCharm中，选择"Run" -> "Run 'get_scdn_article'"启动爬虫。...
Scrapy爬虫框架搭建及pycharm中scrapy插件配置
Captain72的博客
08-01 1618
Scrapy爬虫框架搭建Scrapy爬虫框架简介Scrapy安装功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 Scr...
Python+Pycharm +Scrapy搭建爬虫项目
weixin_42697449的博客
02-15 1万+
                                                                       Python+Pycharm +Scrapy搭建爬虫项目     Scrapy简介：   Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中   Scrapy框架的工作...
Python+Pycharm+Scrapy搭建爬虫项目.docx
03-17
在PyCharm中打开项目，配置好解释器，然后运行`scrapy crawl [爬虫名]`命令启动爬虫。例如，如果爬虫名为`StockSpider`，则运行`scrapy crawl StockSpider`。 5. 使用PyCharm的集成开发环境优势： PyCharm提供了...
用pycharm安装scrapy框架
热门推荐
chen_ke_hao的博客
11-16 3万+
今天安装scrapy框架，在cmd里用pip install 安装，老是报错，报缺少支持的第三方包还有C++ 14.什么的错， 后来直接用pycharm安装，就成功了，安装的方法如下 在右上角有一个绿色的加号点击它 会弹出这个界面，把需要安装的包的名字输进去会自动检索，然后选定，再点击install Package，就会安装 安装
pycharm 中scrapy框架安装使用
liuyunaaaaaa的博客
11-29 4677
标题 pycharm 中scrapy框架安装使用 一、 爬虫框架Scrapy 1、 使用python语言开发的爬虫组件，可以方便的从网站爬取需要的网页数据. 2、 可以对网页元素进行解析并获取指定的数据，这些数据可以与实体中的属性进行对应。 3、 Scrapy的构成 (1) 爬虫引擎:用于控制整个爬取的流程 (2) 调度器:将请求爬取的网址排列为一个队列。 (3) 下载器：从请求的网址中下载网页内容 (4) 管道:对爬取的数据进行处理（持久化—保存到文件或者数据库中） (5) 爬虫组件:爬取网页中需要的
已安装scrapy框架，但是pycharm运行时仍显示No module named ‘scrapy‘
白日梦想家
11-07 8629
已安装scrapy框架，但是pycharm运行时仍显示No module named ‘scrapy’ 首先说明，我已经安装了scrapy框架，然后在windows的命令行中用命令创建了一个爬虫项目pachong3，然后在pycharm中打开该项目，下面是该项目的目录结构： 可以看到该项目目录下多出了一个venv文件夹，其表示python的虚拟环境，运行显示No module named ‘scrapy’，大概率是因为其目录下没有scrapy和twisted的模块，如下四个文件夹缺失。（因为在pip安装
用pycharm进行python爬虫的步骤_在Pycharm中运行Scrapy爬虫项目的基本操作
weixin_39574720的博客
11-30 5114
目标在Win7上建立一个Scrapy爬虫项目，以及对其进行基本操作。运行环境：电脑上已经安装了python(环境变量path已经设置好)，以及scrapy模块，IDE为Pycharm 。操作如下：一、建立Scrapy模板。进入自己的工作目录，shift + 鼠标右键进入命令行模式，在命令行模式下，输入scrapy startproject 项目名 ,如下：看到以上的代码说明项目已经在工作目录中建好...
python的pip安装包下载路径及安装流程 https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
逻辑痒痒挠的博客
12-09 7596
https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 例如：下载 PyHook pyHook‑1.5.1‑cp36‑cp36m‑win32.whl pyHook‑1.5.1 是安装包名称和版本 cp36‑cp36m 是适用python的版本（这是python3.6适用的包） win32 是电脑32位操作系统 安装 pyHook‑1.5.1‑cp36‑cp36m‑win32.whl cd 到你所在的“已经下载的包”的目录 pip install 包的
Pycharm中的scrapy安装教程
sinat_31308671的博客
10-30 1万+
爬虫需要安装Scrapy模块，书中以及网上好多都是在linux环境下 在网上找到在Pycharm中的scrapy安装教程，以此记录 感谢这位作者的分享Pycharm中的scrapy安装教程 之后的操作就可按书上或者网上的教程来操作 在此处，可以使用Pycharm的内置终端来进行操作 怕文章丢失，在此再粘贴编辑下 首先打开pycharm的左上角的File然后找到setting的...
python3 pycharm+scrapy框架 爬虫项目实例（一）
only···的博客
05-30 1万+
博客链接！ requests 讲解 BeatifulSoup 讲解 python3 基于requests+beatifulsoup爬虫实战 python3 pycharm+scrapy框架 爬虫项目实例（一） 历经挫折，在度娘以及csdn大佬帮助下成功安装scrapy框架 一、项目简介 1.内容：爬取传智播客C/C++讲师的姓名、职称以及个人简介 2.目标...
PyCharm安装scrapy框架
ifeng12358的博客
12-09 4134
PyCharm安装scrapy框架 一、系统环境说明： 操作系统：windows10 64位专业版； python版本：python 3.5。 二、安装准备： 1、安装pip工具 2、下载并安装Twisted（我的python版本是3.5的，所以对应的Twisted也要3.5的。根据个人的python版本号下载）。 ...
新建一个scrapy项目的步骤
baidu_24545901的博客
12-26 2万+
1、创建一个scrapy的开发环境 mkvirtualenv article mkvirtualenv --python=C:\Users\Administrator\AppData\Local\Programs\Python\Python\python.exe 2、使用   scrapy 来创建 ArticleSpider项目 在文件夹中右键，在此处打开命令窗口，本人是在
在Pycharm下创建scrapy项目
weixin_34343000的博客
09-14 433
1.打开Pycharm软件 2.指定scrapy项目待保存的路径 3.打开Pycharm的Terimnal，输入 scrapy startproject pro 自动生成pro项目 生成目录如下 转载于:https://www.cnblogs.com/ystwyfe/p/7520608.html...
PyCharm中创建Scrapy项目踩坑指南
"pycharm创建scrapy项目教程及遇到的坑解析" 本文将详述如何在PyCharm中创建Scrapy项目以及可能遇到的问题和解决方法。Scrapy是一个强大的Python爬虫框架，而PyCharm则是一款流行的Python IDE，它们结合能提供高效...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值