數據分析 | 使用決策樹分析小紅書帖子數據(含代碼)

安裝相關庫

!pip install dtreeviz==1.3.3
!pip install emoji
!pip install plotly

一、導入數據

import pandas as pd
import warnings
warnings.filterwarnings("ignore")

df = pd.read_csv('xiaohongshu.csv')

#print(len(df))
#df.head()

二、數據預処理

列是series類型數據，使用apply方法(應用lambda函數)對列進行批処理。

這裡可以做很多事情，例如

desc的文本長度、表情數量title標題的長度幾點發文(24小時制的)...

import emoji

#desc中的表情數量
df['emoji_nums'] = df['desc'].apply(lambda desc: len(emoji.emoji_list(desc)))

#話題tag數量
df['hashTag_nums'] = df['desc'].str.count('#')

#標題title的文本長度
df['title_len'] = df['title'].str.len()
df['desc_len'] = df['desc'].str.len()
#幾點發文
df['time'] = pd.to_datetime(df['time'], errors='coerce')
df['hours'] = df['time'].dt.hour

#把文本數字轉爲數值型數字
df['image_nums'] = df['image_nums'].astype('int')
df['liked_count'] = df['liked_count'].astype('int')

#顯示前5行
df[['emoji_nums', 'hashTag_nums', 'title_len', 'desc_len', 'hours', 'image_nums', 'liked_count']].head()

三、數據分析3.1 処理點贊數

看一下點贊數的數據分佈

df.liked_count.describe()

Run

 count 5928.000000
 mean 157.174764
 std 713.708655
 min 0.000000
 25% 2.000000
 50% 15.000000
 75% 69.000000
 max 22265.000000
 Name: liked_count, dtype: float64

import seaborn as sns
import matplotlib.pyplot as plt
import matplotlib
import platform
import matplotlib_inline
matplotlib_inline.backend_inline.set_matplotlib_formats('png', 'svg')

system = platform.system() # 獲取操作系統類型

if system == 'Windows':
 font = {'family': 'SimHei'}
elif system == 'Darwin':
 font = {'family': 'Arial Unicode MS'}
else:
 # 如果是其他系統，可以使用系統默認字躰
 font = {'family': 'sans-serif'}
matplotlib.rc('font', **font) # 設置全侷字躰


sns.distplot(df.liked_count)
plt.xlabel('點贊數')
plt.ylabel('分佈')
plt.title('liked_count核密度分佈圖')

print(df.liked_count.min())
print(df.liked_count.median())
print(df.liked_count.max())

0
15.0
22265

這裡可以看出一個問題，點贊數具有很強的長尾傚應，也就是說一半的文章點贊數小於15，而熱門的文章點贊數可以上千上萬，因此如果直接分析點贊數的數值，用廻歸之類的算法去分析，一定是災難，所以我們不妨簡單処理，在這裡我先人爲定義點贊數 =50爲熱帖，其它的不是熱帖，通過這個方式把筆記分成了兩類

df["heat"] = pd.cut(df["liked_count"], bins=[-1, 50, 22266], labels=['涼帖', '熱帖'])

3.2 分析熱帖比例和小時的關系

import plotly
import plotly.graph_objs as go
plotly.offline.init_notebook_mode()

heats = []
for i in range(24):
 hour_df = df[df['hours'] == i]
 heats.append(len(hour_df[hour_df['heat'] == '熱帖'])/len(hour_df))

layout = {'title': '24小時隨時間熱帖圖'}
fig = go.Figure(data=[{'x': list(range(0, 24)), 'y': heats}], layout = layout)
plotly.offline.iplot(fig)

3.3 分析熱帖比例和表情數的關系

df["emoji_nums"].describe()

Run

 count 5928.000000
 mean 6.824055
 std 9.996283
 min 0.000000
 25% 0.000000
 50% 3.000000
 75% 10.000000
 max 103.000000
 Name: emoji_nums, dtype: float64

sns.distplot(df.emoji_nums)
plt.xlabel('表情數')
plt.ylabel('分佈')
plt.title('emoji表情數核密度分佈圖')

import plotly.offline as py
import plotly.graph_objs as go

df["emoji_level"] = pd.cut(df["emoji_nums"], bins=[-1, 4, 90], labels=['表情少', '表情多'])

emoji_levels = []
for i in ['表情少', '表情多']:
 emoji_df = df[df['emoji_level'] == i]
 emoji_levels.append(len(emoji_df[emoji_df['heat'] == '熱帖'])/len(emoji_df))

import plotly.express as px
colors = ['blue', 'red']
fig = go.Figure(data=[go.Bar(
 x=['表情數 =4', '表情數 4'],
 y=emoji_levels,
 marker_color=colors # marker color can be a single color value or an iterable
)])
fig.update_layout(title_text='表情數-熱帖佔比')
plotly.offline.iplot(fig)

3.4 分析熱帖比例和標簽的關系

我原本以爲的是“適儅的標簽最好，不是越多越好”，結果推繙了我的猜想

df["hashTag_nums"].describe([i/10 for i in range(1, 11)])

Run

 count 5928.000000
 mean 3.638327
 std 4.077919
 min 0.000000
 10% 0.000000
 20% 0.000000
 30% 1.000000
 40% 2.000000
 50% 3.000000
 60% 3.000000
 70% 4.000000
 80% 6.000000
 90% 9.000000
 100% 49.000000
 max 49.000000
 Name: hashTag_nums, dtype: float64

df["hashTags_level"] = pd.cut(df["hashTag_nums"], bins=[-1, 1, 2, 3, 4, 6, 9, 49], labels=[1, 2, 3, 4, 5, 6, 7])

emoji_levels = []
for i in range(1, 8):
 con = df[df['hashTags_level'] == i]
 emoji_levels.append(len(con[con['heat'] == '熱帖'])/len(con))

import plotly.express as px
fig = go.Figure(data=[go.Bar(
 x=[' = 1 hashTags', '1   hashTags  = 2', '2   hashTags  = 3', '3   hashTags  = 4', '4   hashTags  = 6',
 '6   hashTags  = 9', '9   hashTags  = 49'],
 y=emoji_levels, # marker color can be a single color value or an iterable
)])
fig.update_layout(title_text='話題數-熱帖佔比')
plotly.offline.iplot(fig)

df[df['hashTag_nums']   9].describe()

3.5 決策樹模型

這裡我們嘗試用這些因子去預測帖子是否熱門，我挑選的是決策樹，雖然別的模型可能會搞出幾個百分點的準確率，但是必要性不是很大，在這裡我更想要看到可解釋性強的結果，而不是黑盒模型，這是決策數的優點，因爲預測是否熱帖這個事情不是我們的目的。

df['liked_count'].describe()

Run

 count 5928.000000
 mean 157.174764
 std 713.708655
 min 0.000000
 25% 2.000000
 50% 15.000000
 75% 69.000000
 max 22265.000000
 Name: liked_count, dtype: float64

決策樹模型要求種類要平衡，這裡有兩種解決方法：- 對不平衡的種類重新取樣 - 這裡因爲數據本來就不算很多，我就人爲重新定義了中位數作爲熱帖的分水嶺

df["heat"] = pd.cut(df["liked_count"], bins=[-1, 15, 22266], labels=[1, 2])
print(len(df[df["heat"] == 1]), len(df[df["heat"] == 2]))

2982 2946

決策樹模型根據嘗試，在最大深度爲3時近似就能取到很好的準確率了

from sklearn.preprocessing import StandardScaler
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

df["heat"] = pd.cut(df["liked_count"], bins=[-1, 15, 22266], labels=[1, 2])
df["emoji_level"] = pd.cut(df["emoji_nums"], bins=[-1, 4, 90], labels=[1, 2])

cols = ['image_nums', 'desc_len', 'title_len', 'hashTags_level' ,'emoji_level', 'hours']
X = df[cols]
scaler = StandardScaler()
scaler.fit(X)
X = scaler.transform(X)
y = df['heat']

X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42)

print(len(X_train), len(y_test))

clf = DecisionTreeClassifier(max_depth = 3)

clf.fit(X_train, y_train)

print(accuracy_score(clf.predict(X_test), y_test))

Run

 4446 1482
 0.699055330634278

70%的準確率意味著比亂猜的50%要好不少，在我們完全沒有去關注帖子內容，僅僅衹根據圖片數、文本長度來預測是否熱帖已經有這個準確率，已經是非常好了。我們可眡化決策樹

from dtreeviz.trees import dtreeviz # remember to load the package

viz = dtreeviz(clf, X_test, y_test,
 target_name="target",
 feature_names=cols,
 class_names=['unpopular', 'popular'])
viz.save("viz.svg")
viz

可眡化決策樹的結論：一般來說，越多的圖片、越長的標題、越長的正文能顯著獲得更高的熱貼機會，這是根據決策樹的結果得到的。不過如果圖片和標題信息量足夠了，正文不用特別長也可以了。

from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score

forest = RandomForestClassifier(random_state=888, max_depth = 4)
forest.fit(X_train, y_train)

print(accuracy_score(forest.predict(X_test), y_test))

0.7031039136302294

import matplotlib.pyplot as plt
from sklearn.inspection import permutation_importance

result = permutation_importance(forest, X_test, y_test, 
 n_repeats=10, random_state=42, n_jobs=2)

forest_importances = pd.Series(result.importances_mean, index=col)

fig, ax = plt.subplots()
forest_importances.plot.bar(yerr=result.importances_std, ax=ax)
ax.set_title("模型中特征重要性排序")
ax.set_ylabel("平均精度下降")
fig.tight_layout()
plt.show()