微博爬虫——自动获取访客Cookie

0、前言 做过微博爬虫的应该都知道微博存在一个Sina Visitor System,即无需登录就能访问的页面,也需要获得一个访客cookie才能访问。如果我们直接对微博页面爬取,那么返回的页面全都是Sina Visitor System的页面。...

  • summer
  • Python
  • 2019-05-17
  • 82已阅读

使用instant.page提高网页加载速度

0、前言 今天闲来没事,看到instant.page可以提高网页加载速度,就在自己博客用上了。个人觉得效果还是很不错的,所以分享一下~ <...

  • summer
  • 经验
  • 2019-04-19
  • 170已阅读

Valine评论系统使用及评论置顶的实现

0、前言 之前由于博客托管服务器为DO云,网站域名一直没有备案,因此博客评论系统一直用的都是

ubuntu18.04安装mysql忘记密码无法登录解决办法

0、问题描述 在将本站由DO云迁移至华为云时出现了该问题:安装mysql5.7时并没有提示输入密码就直接安装完成,然后尝试空密码、或其他操作都无法进入mysql。在...

  • summer
  • 经验
  • 2019-04-12
  • 117已阅读

beego搭建博客的admin管理(二):目录管理

0、前言 本文接着上一篇文章

[转载] ubuntu18-04-安装后快速初始化常用环境指南

1、换源&更新 在软件与更新中换源,现在默认也已经是国内的源了,换一个常用的也行。 然后更新一下sudo apt u...

  • summer
  • 经验
  • 2019-03-27
  • 107已阅读

highlight.js 插件添加行号

本博客使用的代码高亮工具为highlight.js,但是highlight.js不支持行号显示。默认效果如下:

  • summer
  • 经验
  • 2019-03-18
  • 389已阅读

beego搭建博客的admin管理(一):用户管理

0、前言 最近在学习beego,发现了一个问题:beego框架作为golang web开发的几大框架之一,但却没有一个类似Django Admin的后台管理模块。

  • summer
  • go
  • 2019-03-18
  • 219已阅读

利用scrapy爬取知乎信息(二)

4、将数据存入mongoDB 我们在前面已经安装了pymongo,我们可以借助其来进行对mongoDB的操作。打开pipelines.py,在这里面我们可以对Item进行一些操作,例如对其进行一些清洗、验证、数据库储存等等。...

  • summer
  • Python
  • 2018-11-11
  • 190已阅读

利用scrapy爬取知乎信息(一)

0、前言 最近学习了一下scrapy框架,为了加深对scrapy的认识,就利用其爬取了知乎用户信息、问题、回答、文章等数据,并将其存入mongoDB之中。在这里把大致的过程记录一下。 项目依赖:scrapy、redis、pymon...

  • summer
  • Python
  • 2018-11-7
  • 232已阅读
Top