前提条件

  • 已经创建好了conda环境
  • 已经安装好了scrapy框架
  • 项目初始化完成

编写一个爬虫脚本


import scrapy


class StackOverflowSpider(scrapy.Spider):
    name = 'stackoverflow'
    start_urls = ['http://stackoverflow.com/questions?sort=votes']

    def parse(self, response):
        print("stackoverflow parse is run ....")

把脚本保存到spiders文件目录内

添加配置

conda环境对应的cmdline.py脚本

先在计算机目录中找到conda环境中安装的scrapy的comline.py位置。一般是：XXX\envs\scrapy_study\Lib\site-packages\scrapy\cmdline.py

配置pycharm

crawl 后面的脚本名就是我们前面编写脚本中name属性值。

在这里插入图片描述

debug 运行调试

# conda # pycharm # scrapy
Logo
乐奇 Rokid 开放社区

更多推荐

KOReader 安装教程：电子墨水屏上重排 PDF，免费电子书阅读器

在电子墨水屏上读 PDF，要么放大拖拽，要么只能看原版的小字。KOReader 是一款面向电子墨水屏的开源、免费电子书阅读器，支持 PDF、EPUB、DjVu、FB2 等十几种格式，还能把固定版式的 PDF 重排成适合小屏的排版。## 📌 这类人值得装- **啃 PDF 论文的人**：学术论文、技术文档、扫描版书籍重排之后，文字按屏幕宽度排，不用再在放大和翻页之间来回切。- **多设备

avatar 乐奇 Rokid 开放社区

AI眼镜微型件连接 激光焊和胶接怎么选

所谓智能眼镜微型件连接工艺选型，是指在镜腿铰链、中梁、摄像头模组、FPC 与 PCB 互连、腔体密封、塑料壳体这些尺度在亚毫米到数毫米之间的连接界面上，按热预算、接头强度、气密要求与疲劳寿命四项约束，在激光熔焊、激光锡焊、回流焊、电阻焊、结构胶接与超声波焊之间做出取舍的工艺决策方法（来源：精密焊接在智能眼镜制造中的应用行业资料）。

avatar 乐奇 Rokid 开放社区

Hyperswitch config_importer 实战：将 TOML 配置文件一键转换为 Kubernetes 环境变量

本文以 Hyperswitch 仓库中的 `config_importer` 工具 crate 为核心，完整讲解它如何把 Hyperswitch 的 TOML 配置文件（如 `config/development.toml`、`config/deployments/drainer.toml`）转换为环境变量的键值对，并导出为 Kubernetes 可用的 JSON 数组格式。读完本文，你将掌握该工

avatar 乐奇 Rokid 开放社区