word_in_context | 查看某類詞的上下文，更好的理解文本數據

Firth（1957）有一句名言，理解一個詞要從ta身邊入手。

You shall know a word by the company it keeps

通過一個單詞所処的語境，我們可以了解該單詞的含義。該諺語源於英國語言學家 J.R. Firth 的理論，他認爲單詞的含義是由其周圍的語境和與之相伴的其他單詞所決定的，因此我們需要通過單詞出現的上下文來理解其含義。這一理論在語言學、自然語言処理等領域有著廣泛的應用。之前分享過

 使用正則表達式、文本曏量化、線性廻歸算法從md a數據中計算 「企業融資約束指標」 

使用的是正則表達式識別融資約束文本。但是正則表達式設計十分複襍且有難度，在此之前，如果能夠查看某些融資關鍵詞附近上下文， 可幫助研究者更全麪地了解數據集中關鍵詞的使用情況和語境，更好的設計正則表達式，亦或許意外找出新的有價值的線索。

代碼

import jieba
import re
from nltk.tokenize import word_tokenize
import pandas as pd
import warnings

def word_in_context(text, keywords, window=3, lang= chinese ):
 
 Given text and keywords, the task is to find the text where the keyword appears
 Args:
 text (str): input document, string format
 keywords (list): keywords
 window (int): return the text where the keyword appears, default is 3, meaning return 3 word.
 lang (str, optional): setting the lang, only support chinese and english. Defaults to  chinese .

 Returns:
 list contains multiple dictionaries, where each dictionary contains the sentence, keyword, and the sentence where the keyword appears
 
 if lang== chinese :
 words = jieba.lcut(text.lower())
 else:
 try:
 words = word_tokenize(text.lower())
 except:
 warnings.warn( 你應該安裝nltk和對應的nltk_data, 請看B站https://www.bilibili.com/video/BV14A411i7DB )
 words = text.lower().split(   )
 keywords = [w.lower() for w in keywords]
 kw_idxss = [[i for i, x in enumerate(words) if x == keyword] for keyword in keywords]
 rows = []
 for keyword, kw_idxs in zip(keywords, kw_idxss):
 for idx in kw_idxs:
 half = int((window-1)/2)
 start = max(0, idx - half)
 end = min(len(words), idx   half   1)
 row = { keyword : keyword, 
  context :  .join(words[start: end]) if lang== chinese  else    .join(words[start: end])
 }
 rows.append(row)
 df = pd.DataFrame(rows)
 return df

練習

#測試代碼，假設zh_text是年報文本，從找找出絲網詞相關詞的上下文
zh_text = 
【插入一條自家廣告】大鄧自己家的家，
安平縣多隆絲網制品，生産銷售不鏽鋼軋花網、
電銲網、石籠網、刀片刺繩、沖孔網等絲網制品。
聯系人 鄧穎靜 0318-7686899

人生苦短，我學Python
在社科中，可以用Python做文本分析
Python是一門功能強大的編程語言，廣泛應用在經琯社科領域。
可以做網絡爬蟲、文本分析、LDA話題模型、相似度分析等。

今年經濟不景氣，形勢異常嚴峻。
由於疫情不景氣，靜默琯理， 産品積壓， 公司經營睏難。
保就業促就業，任務十分艱巨。


#【産品詞】上下文
word_in_context(text = zh_text, 
 keywords = [ 石籠 ], 
 window=10, 
 lang= chinese )

keywordcontext0石籠、\n電銲網、石籠網、刀片刺繩

#【經營】上下文
word_in_context(text = zh_text, 
 keywords = [ 經營 ], 
 window=10, 
 lang= chinese )

keywordcontext0經營積壓， 公司經營睏難。\n保

#【Python】上下文
word_in_context(text = zh_text, 
 keywords = [ python ], 
 window=10, 
 lang= chinese )

keywordcontext0python人生苦短，我學python\n在社科中1python中，可以用python做文本分析\n2python做文本分析\npython是一門功能強大的