开始学习爬虫


最近两天已经开始学习爬虫了, 准备 学完爬虫, 再弄个PYQT5学习一下, 以后过年过节买车票, 就自己做个抢票软件,自己抢票回家.

爬虫是什么?

我们通过编写程序, 模拟浏览器上网, 然后 让其去互联网上抓取数据的过程.
看到这个模拟浏览器上网, 我觉得怎么和我一直写的UI 自动化 脚本有点像啊?都是模仿浏览器上网. 而且爬虫一开始的入门课程使用的是requests 库, 发送接口请求, 获取数据, 然后对其数据进行数据解析后进行持续化存储. 这个就和我写的接口脚本很类似啊, 都是使用requests 库.
特意去百度看了一下, 是有点类似, 只是我以前做的是开卷考试, 使用selenium 或者appium , 模拟人操作 电脑浏览器或者手机进行上网, 而爬虫 是等于闭卷开始,没有接口文档的情况下模拟人在浏览器上登陆网站.
随着爬虫的 学习, 不知不觉复习了一下rquests和 xpath的使用, 书读百遍其义自见.

保持耐心

学习最怕焦躁, 一定要沉得住心, 欲速则不达. 在 B站, 一如既往的白剽视频, 看的 是路飞学城IT 的视频, 仔细对比了一下其他视频, 讲的挺不错, 而且视频是今年七月份的, 也就是视频里讲到的多数网站还没反爬, 可以顺着课程 做下去. 太旧的视频,学习的参考意义不大.准备把这个视频学完之后, 去网易云课堂买王顺子的爬虫课程, 先入门之后,再买付费的视频.
网易云课堂王顺子的课, 挺不错的, 免费视频有python 六大讲, 仔细讲述了python2.0到3.0 的演变, 以及 很深入的python底层机制.我花了足足两个多月的时间, 认认真真看完了, 学了 python的包检索机制, 经典类到新式类的演变, 棱形继承演化出的C3算法, Python3.0后由于C3算法的完善, 经典类在3.0中就 不存在了.还有新式类内置方法的拦截, 以及python被称为鸭子形态的缘由, 这么好的视频,还是免费的,值得各位去白嫖.
王顺子老师那里还有爬虫, 以及PYQT5, 这些我都会先在B站白嫖之后,学入门了,然后就看他的视频, 彻底吃透这里面的一些原理,不想只做一个仅仅调用库, 一问原理就三不知的脚本 工具人. 学习就要求根问底, 用心专研.


文章作者: 陌上人如玉
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 陌上人如玉 !
  目录