Python爬虫工程师实战课

Python爬虫工程师实战课资源概述:

本课程将带你从零开始系统学习Python爬虫,课程分四个阶段，从入门到项目实战，再到难点突破，最后讲scrapy框架，是一套完整的学习路径。

主要内容:

第一阶段：爬虫入门

讲爬虫的基础知识，包括正则表达式、xpath、css选择器这些解析工具怎么用，还有beautifulsoup解析、去重策略这些。这个阶段会用一些简单的网站练手，让你先体验一下爬虫是怎么回事。

第二阶段：项目实战

这个阶段选了几个不同类型的网站做实战项目：

论坛类网站（静态网页）：讲requests怎么用，beautifulsoup怎么解析，数据怎么存到mysql
电商类网站（动态网页）：讲怎么识别动态网站，怎么用selenium、chromedriver抓动态数据，不同采集方式的优缺点
社区类网站（模拟登录）：讲为什么要模拟登录，session和cookie的原理，json web token是什么，怎么用requests完成登录，怎么自动注册账号，最后采集数据入库

第三阶段：难点突破

针对爬虫面试常考的技术难点做针对性讲解：

反爬机制：常见的反爬手段有哪些，怎么通过nginx配置限制访问，ip代理怎么用
验证码识别：怎么用第三方服务识别验证码，抓取间隔怎么随机变化，selenium会不会被网站识别出来
GIL和多线程：Python的GIL是什么东西，多进程和多线程怎么用，线程间通信、锁和信号量，还有线程池怎么用

第四阶段：scrapy框架

这个阶段虽然没在页面上展开细讲，但看课程结构是讲scrapy框架的快速抓取。

适合人群:

一是学完Python语法但不知道往哪个方向走的，二是了解一点爬虫但不系统达不到就业标准的，三是想升职加薪但技术遇到瓶颈的，四是只会web开发想拓展技能的。学之前需要有点Python语法基础和MySQL基础。

目录结构:

第01章 从零开始 系统入门python爬虫工程师-课程导学

1-1导学~1.mp4

第02章 彻底解决让人头疼的环境搭建问题

2-1 python的安装~1.mp4

2-10虚拟环境的安装和配置-linux.doc

2-11虚拟环境的安装和配置-mac.doc

2-2python的安装和配置-linux.doc

2-3python的安装和配置-mac.doc

2-4 pycharm的安装和配置 (必看！！)~1.mp4

2-5 课程中用到的pycharm快捷键(必看！！！)~1.mp4

2-6 mysql和navicat的安装和使用~1.mp4

2-7mysql和navicat的安装和配置-linux.doc

2-8mysql和navicat的安装和配置-mac.doc

2-9 虚拟环境的安装和配置~1.mp4

第03章 我们从了解网络爬虫开始，重新认识爬虫

3-1 爬虫能做什么？~1.mp4

3-2 Python网络爬虫需要学习的知识和解决的问题~1.mp4

3-3 爬虫是万能的吗？~1.mp4

第04章 爬虫工程师基本功–计算机网络协议基础

4- 01  为什么我们需要学习计算机网络~1.mp4

4- 02 一个完整的网络请求过程~1.mp4

4- 03 ip地址和url详解 – 为什么网站一般不会封ip？~1.mp4

4- 04 有哪些网络协议？~1.mp4

4- 05 我们经常看到的tcp-ip协议是什么？~1.mp4

4- 06 socket编程 – 客户端和服务端通信 – 1~1.mp4

4- 07 socket编程 – 客户端和服务端通信-2~1.mp4

4- 08 基于tcp自定义第一个协议 – 模拟qq服务器和客户端 – 1~1.mp4

4- 09 基于tcp自定义第一个协议 – 模拟qq服务器和客户端 – 2~1.mp4

4-10 基于tcp自定义第一个协议 – 模拟qq服务器和客户端 – 3~1.mp4

4-11 正确认识http协议 – 1~1.mp4

4-12 正确认识http协议 -2~1.mp4

4-13 本章课后作业~1.mp4

第05章 爬虫工程师基本功–前端基础

5-1 html、css和JavaScript之间的关系~1.mp4

5-2 浏览器的加载过程~1.mp4

5-3 dom树和JavaScript操作dom树~1.mp4

5-4 ajax、json和xml~1.mp4

5-5 动态网页和静态网页~1.mp4

5-6 GET、POST方法和Content-type详解~1.mp4

5-7 ajax方式提交表单数据~1.mp4

5-8 本章课后作业。~1.mp4

第06章 爬虫前置知识讲解&爬虫初体验

6-1 爬虫采集方案分类_0001~1.mp4

6-2 requests功能详解~1.mp4

6-3 正则表达式-基本语法~1.mp4

6-4 正则表达式 – python接口~1.mp4

6-5 beautifulsoup用法 – find方法~1.mp4

6-6 beautifulsoup用法 – 父子节点和兄弟节点获取~1.mp4

6-7 xpath基本语法 – 1~1.mp4

6-8 xpath基本语法 – 2~1.mp4

第07章 项目实战1 – 论坛网站，实现静态网页数据抓取

7- 01需求分析.mp4

7- 02 pymysql的简单使用.mp4

7- 03 peewee自动生成表 1.mp4

7- 04 通过peewee对数据进行增、删、改、查…1.mp4

7- 05 models表结构设计.mp4

7- 06 分析和获取所有的板块-1·.mp4

7- 07 分析和获取所有的板块-2.mp4

7- 08 论坛往回走哪-反爬的分析.mp4

7- 09 获取和解析列表页-1.mp4

7- 10 获取和解析列表页-2.mp4

7- 11 获取和解析详情页-1.mp4

7- 12 获取和解析详情页-2.mp4

7- 13 获取个人信息详情-1.mp4

7- 14 获取个人信息详情-2.mp4

第08章 多线程和线程池编程 – 进一步改造爬虫

8-01并发和并行.mp4

8-02多线程编程.mp4

8-03python的GIL真的会导致多线程慢吗？.mp4

8-04线程同步-Lock.mp4

8-05使用多线程重构csdn爬虫-1.mp4

8-06使用多线程重构csdn爬虫-2.mp4

8-07使用多线程和Queue重构csdn爬虫.mp4

8-08进一步的思考-课后作业.mp4

8-09ThreadPoolExecutor的基本功能.mp4

8-10ThreadPoolExecutor线程池重构爬虫.mp4

第09章 项目实战2-电商网站，实现动态网网站的数据抓取

9-01需求分析.mp4

9-02表结构设计.mp4

9-03chrome的f12后的调试工具栏介绍.mp4

9-04京东的商品详情页接口分析.mp4

9-05通过requests完成京东详情页数据的获取.mp4

9-06selenium的安装和使用.mp4

9-07通过selenium解析商品详情页-1.mp4

9-08通过selenium解析商品详情页-2.mp4

9-09通过selenium解析商品详情页-3.mp4

9-10通过selenium解析商品详情页-4.mp4

9-11通过selenium解析商品详情页-5.mp4

9-12chromedirver的headless模式和设置不加载图片.mp4

9-13课后作业和总结.mp4

第10章 实战项目3-社区网站，实现模拟登陆和验证码

10-01章节目标和为什么需要模拟登陆.mp4

10-02模拟登陆的原理-session和cookie的原理.mp4

10-03requests模拟登录豆瓣.mp4

10-04将cookie保存到文件中并从文件中读取cookie.mp4

10-05selenium模拟登录豆瓣.mp4

10-06滑动验证码识别和selenium模拟登录B站－１.mp4

10-07滑动验证码识别和selenium模拟登录B站－2.mp4

10-08滑动验证码识别和selenium模拟登录B站－3.mp4

10-09第三方验证码识别服务商推荐camproj.mp4

10-10课后作业和总结.mp4

第11章 先懂反爬再应对反爬

11-1反爬和反反爬.mp4

11-2常见的反爬方案.mp4

11-3通过user-agent反爬.mp4

11-4通过收费的代理ip绕过反爬-1.mp4

11-5通过收费的代理ip绕过反爬-2.mp4

11-6通过一个实际的案例分析一下反爬策略是什么.mp4

第12章 学会用框架，scrapy实现快速开发爬虫

12-1新建scrapy项目.mp4

12-2通过pycharm调试scrapy.mp4

12-3编写spider的逻辑.mp4

12-4item和pipeline.mp4

12-5scrapy集成随机useragent和ip代理.mp4

第13章 帮你规划一条通往高级爬虫工程师的进阶之路

13-1课程总结.mp4

13-2成为高级爬虫工程师的学习建议.mp4