這篇文章練習上次Sean所提供的程式碼與視覺化，練習用這樣的方式看下福盟與伴侶盟兩方語料的字詞是否有某一方特別愛用的詞。

import re
from typing import List
from collections import Counter
from matplotlib import pyplot as plt
import pandas as pd
import numpy as np
import jieba

## 1. 匯入資料

def read_text(fpath):
    fin = open(fpath, "r", encoding="UTF-8")
    text = fin.read().strip()
    cjk_pat = re.compile("[\u4e00-\u9fff]+")
    tokens_iter = jieba.cut(text)
    tokens_iter = filter(lambda x: cjk_pat.match(x), tokens_iter)
    tokens = list(tokens_iter)
    return tokens

def make_wfreq_series(tokens: List[str]):
    wfreq = Counter(tokens)
    series = pd.Series(wfreq)
    return series

pro = read_text("lgbtfamily.txt")
anti = read_text("lovefamily.txt")
series1 = make_wfreq_series(pro)
series2 = make_wfreq_series(anti)

2. Explorative Data Analysis

### 2.1. 將資料轉換成DataFrame

這一步要做的是將每個詞映射在一個二維平面上的點，該點的x座標是該詞在語料A中出現的頻率，而y座標為該詞出現在語料B中出現的頻率。

bicorp = pd.DataFrame(dict(corpusA=series1, corpusB=series2))
bicorp.fillna(0, inplace=True)
bicorp['overall'] = bicorp.corpusA + bicorp.corpusB
bicorp.plot(x='corpusA', y='corpusB', kind='scatter')

<matplotlib.axes._subplots.AxesSubplot at 0x10f92af98>

可以看到除了右上角有一個點之外（應該就是兩個語料都大量出現的一個詞），其他幾乎都擠在左下角。為了要讓擠在左下角的那一坨散開，我們可以使用log轉換，拉開距離。

2.2. 進行log轉換

bicorp['log_corpusA'] = np.log(bicorp.corpusA+1)
bicorp['log_corpusB'] = np.log(bicorp.corpusB+1)
bicorp.plot(x='log_corpusA', y='log_corpusB', kind='scatter')

<matplotlib.axes._subplots.AxesSubplot at 0x115c47f60>

散開後，我們可以看見呈現沿著對角線分布的詞，而我們好奇的就是散佈在左上三角形中的詞（出現在語料B中大於語料庫A的）以及右下三角形的詞（出現在A語料中大於語料B的）。

2.3 計算對比分數（log_corpusB - log_corpusA）

bicorp['contrast'] = bicorp.log_corpusB - bicorp.log_corpusA
bicorp.plot(x='log_corpusA', y='log_corpusB', c='contrast', 
    colormap='jet', kind='scatter')

<matplotlib.axes._subplots.AxesSubplot at 0x1103a5400>

2.5 按出現在語料庫B（下福盟）中最特殊的詞排列

bicorp.sort_values('contrast', ascending=False).head(10)

2.6 按出現在語料庫A(伴侶盟)中最特殊的詞排列

bicorp.sort_values('contrast', ascending=True).head(10)

2.7 大量出現在兩個語料中的詞

bicorp.sort_values('overall', ascending=False).head(10)

「同性」和「婚姻」這兩個詞很有趣，打敗了諸多功能詞，擠進兩語料常用詞前十名，尤其是在語料庫B中，「同性」一詞的使用甚至高於「在」一詞的使用。