Python 3.x 如何在dataframe列上执行nlp

我需要分析数据帧中特定特征中的文本并创建新特征（例如，从该文本中提取的Bigram），然后对所有新获得的一个热编码特征执行PCA

for bigram in bigrams:
  if bigram!=[]:
    if bigram in df['description']:
        df[bigram] = 1
    else:
        df[bigram] = 0

---

这将生成一个MemoryError。我确信有更好的方法可以做到这一点，因此您能帮助我吗？

我不想只查找可能的重复项，我想根据结果创建一个新列。如果我在“test data”中找到一个字符串“test”，我想创建一个新的列“test”，该列的该行有一个“1”，其余的行有一个“0”。似乎您需要类似于@ALollz的东西，谢谢，这可能行得通。我会试试看。如果ALollz的建议不能为您解决问题，请通过展示一些样品和预期输出来说明问题。