Deep learning BERT（基础德语）的数据预处理
我正在与伯特一起研究情绪分析解决方案，用德语分析推特。我的训练数据集是一个包含1000条tweet的类，这些tweet被手动注释为中性、积极和消极的类 包含10000条推文的数据集分布非常不均匀： 大约。 3000正 2000负 5000空档 tweet包含@names、https链接、数字、标点符号、笑脸等格式 有趣的是，如果我在数据清理过程中使用以下代码删除它们，F1成绩会变得更糟。只有删除https链接（如果我单独这么做的话）才能带来一点小小的改进Deep learning BERT（基础德语）的数据预处理,deep-learning,nlp,data-cleaning,bert-language-model,Deep Learning,Nlp,Data Cleaning,Bert Language Model,我正在与伯特一起研究情绪分析解决方案，用德语分析推特。我的训练数据集是一个包含1000条tweet的类，这些tweet被手动注释为中性、积极和消极的类 包含10000条推文的数据集分布非常不均匀： 大约。 3000正 2000负 5000空档 tweet包含@names、https链接、数字、标点符号、笑脸等格式 有趣的是，如果我在数据清理过程中使用以下代码删除它们，F1成绩会变得更糟。只有删除https链接（如果我单独这么做的话）才能带来一点小小的改进 # removing the punct
# removing the punctuation and numbers
def remove_punct(text):
text = re.sub(r'http\S+', '', text) # removing links
text = re.sub(r'@\S+', '', text) # removing referencing on usernames with @
text = re.sub(r':\S+', '', text) # removing smileys with : (like :),:D,:( etc)
text = "".join([char for char in text if char not in string.punctuation])
text = re.sub('[0-9]+', '', text)
return text
data['Tweet_clean'] = data['Tweet'].apply(lambda x: remove_punct(x)) # extending the dataset with the column tweet_clean
data.head(40)