本文爬取的是m站的微博内容，基于python 2.7

一、 微博内容爬取

1.要爬取的微博首页网址https://m.weibo.cn/u/3817188860?uid=3817188860&luicode=10000011&lfid=100103type%3D1%26q%3DAlinda

2.手机微博是看不到翻页，是一直往下加载的，但是其json格式的数据仍然以翻页的形式呈现。

3.打开开发者工具，向下翻页面，可以在Network下的XHR的响应文件中，找到json文件的网址。

如：https://m.weibo.cn/api/container/getIndex?uid=3817188860&luicode=10000011&lfid=100103type%3D1%26q%3DAlinda&containerid=1076033817188860&page=4

通过分析发现每个JSON页面是有规律的，即前面的内容都一样，只是后面的页码不同；每个json页面的格式如下：

https://m.weibo.cn/api/container/getIndex?uid=3817188860&luicode=10000011&lfid=100103type%3D1%26q%3DAlinda&containerid=1076033817188860&page=【page_num】

一般情况下一个json页面有11微博评论(我只是查看了几个页面，所有的页面是不是这样，我没有去验证)

知道json页面的组成规律，我们就可以爬虫了！！！

4.微博内容爬取

代码如下：

# -*- coding: utf-8 -*-

import requests

import re

from fake_useragent import UserAgent

import pandas as pd

ua = UserAgent()

headers = {

‘User-Agent’:ua.random, # ua.random是随机生成一个User-Agent

‘Host’: ‘m.weibo.cn’,

‘Referer’: ‘https://m.weibo.cn/p/1005053817188860?sudaref=login.sina.com.cn’,

}

def WriteInCsv(list):

df = pd.DataFrame(list, columns=[u’微博内容链接’, u’创建时间’, u’id’, u’微博内容’,u’转发数’, u’评论数’, u’点赞数’])

df.to_excel(“content.xlsx”, encoding=”utf_8_sig”, index=False)

def getMblogContent():

list = []

bsae_url = ‘https://m.weibo.cn/api/container/getIndex?uid=3817188860&luicode=10000011&lfid=100103type%3D1%26q%3DAlinda&containerid=1076033817188860&page=’

for p in range(0, 149):

try:

url = bsae_url + p.__str__()

resp = requests.get(url, headers=headers, timeout=10)

JsonData = resp.json()

data = JsonData.get(‘data’).get(‘cards’) # cards里包含此页面的所有微博内容

print p

for d in data: # data是列表类型

try:

scheme = d[‘scheme’]

mblog = d[‘mblog’] # i是字典类型

created_at = mblog[‘created_at’] # mblog也是页面里的一个容器名字,一个mblog表示一个微博

id = mblog[‘idstr’]

text = re.sub(u”\\<.>”, “”, mblog[‘text’]) # 去除<>标签里的内容

print text

reposts_count = mblog[‘reposts_count’]

comments_count = mblog[‘comments_count’]

attitudes_count = mblog[‘attitudes_count’]

list.append([scheme, created_at, id, text, reposts_count, comments_count, attitudes_count])

except:

print “error”

except:

print “打开页面错误”

return list

print “OK”

list = getMblogContent()

WriteInCsv(list)

5.代码说明：

(1)本代码总共用了两个try。第一个try是为了跳过打不开的json页面；第二个try是为了跳过“mblog”内容为的字典，最开始没有加第2 try，老是出错，后来发现是因为有些“mblog”里并没有内容，是空的。

二、微博评论爬取

1.从上面的json数据页面获取字段idstr，即微博id。

从https://m.weibo.cn/status/4177994643916324地址可以获取一条微博的手机页面。

格式：https://m.weibo.cn/status/【id】

2.从https://m.weibo.cn/api/comments/show?id=4273393069439291&page=1

地址可以获取一条微博的评论的json格式数据，id为一条微博的id，page为评论翻页。

格式：https://m.weibo.cn/api/comments/show?id=【id】&page=【page_num】

3.从m站爬取的微博评论，最多只有100页，大概是1000条。

4.可以从以下方式获取所有的评论页面，但得到的是HTML页面，不是JSON格式，所有我还没有找到获取页面内容的方法？？？

格式：https://weibo.com/aj/v6/comment/big?ajwvr=6&id=【id】&filter=all&page=【page_num】。

5.微博博主(m站的，每条微博最多获取100页的评论数据)所有微博评论的python实现代码如下：

# -*- coding: utf-8 -*-

import requests

import re

from fake_useragent import UserAgent

import pandas as pd

ua = UserAgent()

headers = {

‘User-Agent’: ua.random, # ua.random是随机生成一个User-Agent

‘Host’: ‘m.weibo.cn’,

‘Referer’: ‘https://m.weibo.cn/p/1005053817188860?sudaref=login.sina.com.cn’,

}

def WriteInCsv(list):

df = pd.DataFrame(list, columns=[u’微博id’, u’用户id’, u’评论文本’, u’评论数’])

df.to_excel(“comment.xlsx”, encoding=”utf_8_sig”, index=False)

def getOnePageComment(mblog_id,data,hot_data):

for i in data:

text = re.sub(u”\\<.>”, “”, i[‘text’]) # 去除<>标签里的内容

like_counts = i[‘like_counts’]

user_id = i[‘user’][‘id’].__str__()

list.append([mblog_id, user_id, text, like_counts])

for i in hot_data:

text = re.sub(u”\\<.>”, “”, i[‘text’]) # 去除<>标签里的内容

like_counts = i[‘like_counts’]

user_id = i[‘user’][‘id’]

list.append([mblog_id, user_id, text, like_counts])

print “list长度：”

print len(list)

base_url= “https://m.weibo.cn/api/comments/show?id=”

df = pd.read_excel(“content.xlsx”) # excel

id_list =df[‘id’]

list = []

i = 0

for id in id_list:

mblog_id = id.__str__()

print i

base_url2 = base_url+id.__str__() +’&page=’

for p in range(0, 100):

try:

url = base_url2 + p.__str__()

print url

resp = requests.get(url, headers=headers, timeout=10)

JsonData = resp.json()

if JsonData[‘ok’] != 0:

data = JsonData.get(‘data’).get(‘data’) # cards是页面里的一个容器名字

print “data”

else:

break

if JsonData.get(‘data’).get(‘hot_data’):

hot_data = JsonData.get(‘data’).get(‘hot_data’)

print “hot_data”

else:

hot_data = “”

print “hot_data_null”

getOnePageComment(mblog_id, data, hot_data)

except:

print ‘error’

i = i + 1

print “OK”

WriteInCsv(list)