有时候,我们在造数据的时候, 需要使用sql 进行批量插入数据. 如果直接使用jmeter 发送接口请求来造数据, 会更加慢. 那么mysql的批量插入脚本怎么写呢?

mysql

耗时一个半月的时间, 学完了B站路飞学城的一个爬虫入门视频, 算是颇有收获吧,简单记录一下自己的收获.

随笔

前段时间,学习 scrapy 框架入门的时候, 连接Redis 没有连接成功, 但是还不知道怎么弄, 留下了疑问.昨晚学习异步编程的时候, 异步操作Redis 的时候, 发现了问题, 总算是解决了之前遗留下来的连接问题.

Redis

现在不少网站对于图片资源进行懒加载, 可以有效限制爬虫.所谓的懒加载, 是当我们打开浏览器, 当界面进入可视化区域之后, 图片资源就会进行请求然后展式出来.所以我们直接对url进行请求是拿不到.对于懒加载的图片, 我们要怎么解决呢?

爬虫