Python 在CVS中保存来自tweepy的阿拉伯语推文

Python 在CVS中保存来自tweepy的阿拉伯语推文,python,twitter,tweepy,Python,Twitter,Tweepy,我正在尝试使用tweepy Python 3.6检索用户的时间线推文。现在,我找到了一个代码,我可以用它来做这件事,并将它们保存在CVS表单中。它在检索英语推文时不会出现问题,但以阿拉伯语编写的推文是这样显示的:b'\xd9\x82\xd8\xaa\xd8\xa7\xd9\x84\x。。。。我已经通过多个论坛,看到这个问题被提出了好几次,但我还没有找到解决办法。我想这一定与utf-8编码有关,但我不知道如何操作代码。有人有什么建议吗?谢谢 这是我的代码: >>> import

我正在尝试使用tweepy Python 3.6检索用户的时间线推文。现在,我找到了一个代码,我可以用它来做这件事,并将它们保存在CVS表单中。它在检索英语推文时不会出现问题,但以阿拉伯语编写的推文是这样显示的:b'\xd9\x82\xd8\xaa\xd8\xa7\xd9\x84\x。。。。我已经通过多个论坛,看到这个问题被提出了好几次,但我还没有找到解决办法。我想这一定与utf-8编码有关,但我不知道如何操作代码。有人有什么建议吗?谢谢

这是我的代码:

>>> import tweepy
>>> import csv
>>> consumer_key = "..."
>>> consumer_secret = "..."
>>> access_key = "..."
>>> access_secret = "..."
>>> def get_all_tweets(screen_name):

#authorize twitter, initialize tweepy
auth = tweepy.OAuthHandler(consumer_key, consumer_secret)
auth.set_access_token(access_key, access_secret)
api = tweepy.API(auth)

#initialize a list to hold all the tweepy Tweets
alltweets = []  

#make initial request for most recent tweets (200 is the maximum allowed count)
new_tweets = api.user_timeline(screen_name = screen_name,count=200)

#save most recent tweets
alltweets.extend(new_tweets)

#save the id of the oldest tweet less one
oldest = alltweets[-1].id - 1

#keep grabbing tweets until there are no tweets left to grab
while len(new_tweets) > 0:
    print("getting tweets before %s" % (oldest))

    #all subsiquent requests use the max_id param to prevent duplicates
    new_tweets = api.user_timeline(screen_name = screen_name,count=200,max_id=oldest)

    #save most recent tweets
    alltweets.extend(new_tweets)

    #update the id of the oldest tweet less one
    oldest = alltweets[-1].id - 1

    print("...%s tweets downloaded so far" % (len(alltweets)))

#transform the tweepy tweets into a 2D array that will populate the csv 
outtweets = [[tweet.id_str, tweet.created_at, tweet.text.encode("utf-8")] for tweet in alltweets]

#write the csv  
with open('%s_tweets.csv' % screen_name, 'w') as f:
    writer = csv.writer(f)
    writer.writerow(["id","created_at","text"])
    writer.writerows(outtweets)

pass

>>> if __name__ == '__main__':
#pass in the username of the account you want to download
get_all_tweets("#username")

在Python3.x中,写入文件时不需要调用encode,因为在Python2.x中,系统打开命令现在默认为文本模式,您可以使用io.open

将tweet.text.encodeutf-8更改为tweet.text

由于Python 3使用您的区域设置来确定在文本模式下打开文件时要使用的文件编码,因此更安全的做法是将打开的代码更改为:


现在,Python将在写入文件时自动将任何字符串编码为UTF-8。

Hi!非常感谢您的澄清。不幸的是,现在当我打开CSV文件时,阿拉伯字符显示为:ØسØØØØØØØØØØØØØنم…Ù†ÙÙÙÙÙÙÙÙÙÙ。好问题!我用的是Excel,但刚刚意识到它与TextEdit配合得很好!太棒了,谢谢!您是否知道Excel为什么会出现这种情况,以及如何克服这种情况?是的,Excel假定CSV编码为8位代码页。要强制将CSV读取为UTF-8,请将encoding='UTF-8'更改为encoding='UTF-8-sig'并重写CSV文件。这将在文件开头写入UTF-8 BOM。
with open('%s_tweets.csv' % screen_name, 'w', encoding='utf-8') as f: