Twitter 卡夫卡推特流推特异常错误
我正在卡夫卡推特上试用以下教程中的示例代码 这是我的密码：Twitter 卡夫卡推特流推特异常错误,twitter,apache-kafka,Twitter,Apache Kafka,我正在卡夫卡推特上试用以下教程中的示例代码 这是我的密码： import java.util.Arrays; import java.util.Properties; import java.util.concurrent.LinkedBlockingQueue; import twitter4j.*; import twitter4j.conf.*; import twitter4j.StatusListener; import org.apache.kafka.clients.prod
import java.util.Arrays;
import java.util.Properties;
import java.util.concurrent.LinkedBlockingQueue;
import twitter4j.*;
import twitter4j.conf.*;
import twitter4j.StatusListener;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
public class KafkaTwitterProducer {
public static void main(String[] args) throws Exception {
LinkedBlockingQueue<Status> queue = new LinkedBlockingQueue<Status>(1000);
String consumerKey = “XXXXXXXXXXXXXXXXX”; //args[0].toString();
String consumerSecret = "XXXXXXXXXXXXXXXXX"; //args[1].toString();
String accessToken = "XXXXXXXXXXXXXXXXX" ; //args[2].toString();
String accessTokenSecret = "XXXXXXXXXXXXXXXXX" ; //args[3].toString();
String topicName = "twittertest" ; //args[4].toString();
//String[] arguments = args.clone();
String[] keyWords = {“Hello”,”Hi”,”Welcome”}; //Arrays.copyOfRange(arguments, 5, arguments.length);
ConfigurationBuilder cb = new ConfigurationBuilder();
cb.setDebugEnabled(true)
.setOAuthConsumerKey(consumerKey)
.setOAuthConsumerSecret(consumerSecret)
.setOAuthAccessToken(accessToken)
.setOAuthAccessTokenSecret(accessTokenSecret);
TwitterStream twitterStream = new TwitterStreamFactory(cb.build()).getInstance();
StatusListener listener = new StatusListener() {
@Override
public void onStatus(Status status) {
queue.offer(status);
System.out.println("@" + status.getUser().getScreenName()
+ " - " + status.getText());
// System.out.println("@" + status.getUser().getScreen-Name());
/*for(URLEntity urle : status.getURLEntities()) {
System.out.println(urle.getDisplayURL());
}*/
/*for(HashtagEntity hashtage : status.getHashtagEntities()) {
System.out.println(hashtage.getText());
}*/
}
@Override
public void onDeletionNotice(StatusDeletionNotice statusDeletionNotice) {
System.out.println("Got a status deletion notice id:"
+ statusDeletionNotice.getStatusId());
}
@Override
public void onTrackLimitationNotice(int numberOfLimitedStatuses) {
System.out.println("Got track limitation notice:" +
numberOfLimitedStatuses);
}
@Override
public void onScrubGeo(long userId, long upToStatusId) {
System.out.println("Got scrub_geo event userId:" + userId +
"upToStatusId:" + upToStatusId);
}
@Override
public void onStallWarning(StallWarning warning) {
// System.out.println("Got stall warning:" + warning);
}
@Override
public void onException(Exception ex) {
ex.printStackTrace();
}
};
twitterStream.addListener(listener);
FilterQuery query = new FilterQuery().track(keyWords);
twitterStream.filter(query);
Thread.sleep(5000);
//Add Kafka producer config settings
Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("client.id", "SampleProducer");
props.put("auto.commit.interval.ms", "1000");
props.put("session.timeout.ms", "30000");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
//props.put("key.serializer",
// "org.apache.kafka.common.serialization.StringSerializer");
//props.put("value.serializer",
// "org.apache.kafka.common.serialization.StringSerializer");
Producer<String, String> producer = new KafkaProducer<String, String>(props);
int i = 0;
int j = 0;
while(i < 10) {
Status ret = queue.poll();
if (ret == null) {
Thread.sleep(100);
i++;
}else {
for(HashtagEntity hashtage : ret.getHashtagEntities()) {
System.out.println("Hashtag: " + hashtage.getText());
producer.send(new ProducerRecord<String, String>(
topicName, Integer.toString(j++), hashtage.getText()));
}
}
}
producer.close();
Thread.sleep(5000);
twitterStream.shutdown();
}
}
导入java.util.array；
导入java.util.Properties；
导入java.util.concurrent.LinkedBlockingQueue；
导入twitter4j.*；
导入twitter4j.conf.*；
导入twitter4j.StatusListener；
导入org.apache.kafka.clients.producer.producer；
导入org.apache.kafka.clients.producer.KafkaProducer；
导入org.apache.kafka.clients.producer.ProducerRecord；
公共类卡夫卡特维特普罗迪克{
公共静态void main（字符串[]args）引发异常{
LinkedBlockingQueue=新LinkedBlockingQueue（1000）；
字符串consumerKey=“xxxxxxxxxxxxxxxx”；//参数[0]。toString（）；
字符串consumerSecret=“XXXXXXXXXXXXXXXXXX”//args[1].toString（）；
字符串accessToken=“xxxxxxxxxxxxxxxx”；//参数[2]。toString（）；
字符串accessTokenSecret=“xxxxxxxxxxxxxxxx”//args[3].toString（）；
字符串topicName=“twittertest”//args[4].toString（）；
//String[]arguments=args.clone（）；
String[]keyWords={“Hello”、“Hi”、“Welcome”}；//Arrays.copyOfRange（arguments，5，arguments.length）；
ConfigurationBuilder cb=新的ConfigurationBuilder（）；
cb.setDebugEnabled（true）
.setOAuthConsumerKey（consumerKey）
.SetOAuthConsumerCret（ConsumerCret）
.setOAuthAccessToken（accessToken）
.setOAuthAccessTokenSecret（accessTokenSecret）；
TwitterStream TwitterStream=新建TwitterStreamFactory（cb.build（））.getInstance（）；
StatusListener=新建StatusListener（）{
@凌驾
公共无效状态（状态）{
排队。报价（状态）；
System.out.println（“@”+status.getUser（）.getScreenName（）
+“-”+status.getText（））；
//System.out.println（“@”+status.getUser（）.getScreen-Name（））；
/*for（urleEntity-urle:status.geturleEntities（））{
System.out.println（urle.getDisplayURL（））；
}*/
/*for（HashtagEntity hashtage:status.getHashtagEntities（））{
System.out.println（hashtage.getText（））；
}*/
}
@凌驾
删除通知的公共作废（状态删除通知状态删除通知）{
System.out.println（“获得状态删除通知id：”
+statusDeletionNotice.getStatusId（））；
}
@凌驾
公开无效onTrackLimitationNotice（int NumberOfLimitedStatus）{
System.out.println（“获得跟踪限制通知：”+
有限状态数）；
}
@凌驾
onScrubGeo上的公共无效（长用户ID、长状态ID）{
System.out.println（“Get scrub_geo event userId:+userId+
“upToStatusId:”+upToStatusId）；
}
@凌驾
安装警告（安装警告）中的公共无效{
//System.out.println（“得到失速警告：+警告”）；
}
@凌驾
公共无效OneException（例外情况除外）{
例如printStackTrace（）；
}
};
twitterStream.addListener（listener）；
FilterQuery=新建FilterQuery（）.track（关键字）；
twitterStream.filter（查询）；
睡眠（5000）；
//添加Kafka producer配置设置
Properties props=新属性（）；
put（“bootstrap.servers”，“localhost:9092”）；
props.put（“client.id”、“SampleProducer”）；
props.put（“auto.commit.interval.ms”，“1000”）；
props.put（“session.timeout.ms”，“30000”）；
put（“key.serializer”、“org.apache.kafka.common.serialization.StringSerializer”）；
put（“value.serializer”、“org.apache.kafka.common.serialization.StringSerializer”）；
//props.put（“key.serializer”，
//“org.apache.kafka.common.serialization.StringSerializer”）；
//props.put（“value.serializer”，
//“org.apache.kafka.common.serialization.StringSerializer”）；
制作人=新卡夫卡制作人（道具）；
int i=0；
int j=0；
而（i<10）{
Status ret=queue.poll（）；
if（ret==null）{
睡眠（100）；
i++；
}否则{
for（HashtagEntity hashtage:ret.getHashtagEntities（））{
System.out.println（“Hashtag:+hashtage.getText（））；
生产商。发送（新生产商记录）(
topicName、Integer.toString（j++）、hashtage.getText（））；
}
}
}
producer.close（）；
睡眠（5000）；
twitterStream.shutdown（）；
}
}
读取超时
有关讨论可在互联网上找到，网址为：
http://www.google.co.jp/search?q=1169356e 或
http://www.google.co.jp/search?q=c04b39f0
TwitterException{exceptionCode=[1169356e-c04b39f0 c2863472-491bffd7]，状态码=-1，消息=null，代码=-1，retryAfter=-1，rateLimitStatus=null，版本=4.0.4}
位于twitter4j.HttpClientImpl.handleRequest（HttpClientImpl.java:179）
位于twitter4j.HttpClientBase.request（HttpClientBase.java:57）
位于twitter4j.HttpClientBase.post（HttpClientBase.java:86）
位于twitter4j.TwitterStreamImpl.getFilterStream（TwitterStreamImpl.java:346）
位于twitter4j.TwitterStreamImpl$8.getStream（TwitterStreamImpl.java:322）
位于twitter4j.TwitterStreamImpl$TwitterStreamConsumer.run（TwitterStreamImpl.java:552）
原因：java.net.SocketTimeoutException:读取超时
位于java.net.SocketInputStream.socketRead0（本机方法）
位于java.net.SocketInputStream.socketRead（SocketInputStream.java:116）
位于java.net.SocketInputStream.read（SocketInputStream.java:170）
位于java.net.SocketInputStream.read（SocketInputStream.java:141）
位于sun.security.ssl.InputRecord.readfull（InputRecord.java:465）
在sun.security.ssl.InputRecord.read（InputRec
Read timed out
Relevant discussions can be found on the Internet at:
http://www.google.co.jp/search?q=1169356e or
http://www.google.co.jp/search?q=c04b39f0
TwitterException{exceptionCode=[1169356e-c04b39f0 c2863472-491bffd7], statusCode=-1, message=null, code=-1, retryAfter=-1, rateLimitStatus=null, version=4.0.4}
at twitter4j.HttpClientImpl.handleRequest(HttpClientImpl.java:179)
at twitter4j.HttpClientBase.request(HttpClientBase.java:57)
at twitter4j.HttpClientBase.post(HttpClientBase.java:86)
at twitter4j.TwitterStreamImpl.getFilterStream(TwitterStreamImpl.java:346)
at twitter4j.TwitterStreamImpl$8.getStream(TwitterStreamImpl.java:322)
at twitter4j.TwitterStreamImpl$TwitterStreamConsumer.run(TwitterStreamImpl.java:552)
Caused by: java.net.SocketTimeoutException: Read timed out
at java.net.SocketInputStream.socketRead0(Native Method)
at java.net.SocketInputStream.socketRead(SocketInputStream.java:116)
at java.net.SocketInputStream.read(SocketInputStream.java:170)
at java.net.SocketInputStream.read(SocketInputStream.java:141)
at sun.security.ssl.InputRecord.readFully(InputRecord.java:465)
at sun.security.ssl.InputRecord.read(InputRecord.java:503)
at sun.security.ssl.SSLSocketImpl.readRecord(SSLSocketImpl.java:973)
at sun.security.ssl.SSLSocketImpl.readDataRecord(SSLSocketImpl.java:930)
at sun.security.ssl.AppInputStream.read(AppInputStream.java:105)
at java.io.BufferedInputStream.fill(BufferedInputStream.java:246)
at java.io.BufferedInputStream.read1(BufferedInputStream.java:286)
at java.io.BufferedInputStream.read(BufferedInputStream.java:345)
at sun.net.www.http.HttpClient.parseHTTPHeader(HttpClient.java:704)
at sun.net.www.http.HttpClient.parseHTTP(HttpClient.java:647)
at sun.net.www.protocol.http.HttpURLConnection.getInputStream0(HttpURLConnection.java:1536)
at sun.net.www.protocol.http.HttpURLConnection.getInputStream(HttpURLConnection.java:1441)
at java.net.HttpURLConnection.getResponseCode(HttpURLConnection.java:480)
at sun.net.www.protocol.https.HttpsURLConnectionImpl.getResponseCode(HttpsURLConnectionImpl.java:338)
at twitter4j.HttpResponseImpl.<init>(HttpResponseImpl.java:35)
at twitter4j.HttpClientImpl.handleRequest(HttpClientImpl.java:143)
... 5 more
ConfigurationBuilder cb = new ConfigurationBuilder();
cb.setDebugEnabled(true)
.setOAuthConsumerKey(consumerKey)
.setOAuthConsumerSecret(consumerSecret)
.setOAuthAccessToken(accessToken)
.setOAuthAccessTokenSecret(accessTokenSecret)
.setHttpStreamingReadTimeout(10);
TwitterException{exceptionCode=[1169356e-c3c3770e 1169356e-c3c376e4], statusCode=-1, message=null, code=-1, retryAfter=-1, rateLimitStatus=null, version=4.0.6}
at twitter4j.HttpClientImpl.handleRequest(HttpClientImpl.java:179)
at twitter4j.HttpClientBase.request(HttpClientBase.java:57)
at twitter4j.HttpClientBase.post(HttpClientBase.java:86)
at twitter4j.TwitterStreamImpl.getFilterStream(TwitterStreamImpl.java:347)
at twitter4j.TwitterStreamImpl$8.getStream(TwitterStreamImpl.java:323)
at twitter4j.TwitterStreamImpl$TwitterStreamConsumer.run(TwitterStreamImpl.java:554)
Caused by: java.net.SocketTimeoutException: Read timed out
at java.net.SocketInputStream.socketRead0(Native Method)
at java.net.SocketInputStream.socketRead(SocketInputStream.java:116)
at java.net.SocketInputStream.read(SocketInputStream.java:171)
at java.net.SocketInputStream.read(SocketInputStream.java:141)
at sun.security.ssl.InputRecord.readFully(InputRecord.java:465)
at sun.security.ssl.InputRecord.read(InputRecord.java:503)
at sun.security.ssl.SSLSocketImpl.readRecord(SSLSocketImpl.java:983)
at sun.security.ssl.SSLSocketImpl.performInitialHandshake(SSLSocketImpl.java:1385)
at sun.security.ssl.SSLSocketImpl.startHandshake(SSLSocketImpl.java:1413)
at sun.security.ssl.SSLSocketImpl.startHandshake(SSLSocketImpl.java:1397)
at sun.net.www.protocol.https.HttpsClient.afterConnect(HttpsClient.java:559)
at sun.net.www.protocol.https.AbstractDelegateHttpsURLConnection.connect(AbstractDelegateHttpsURLConnection.java:185)
at sun.net.www.protocol.http.HttpURLConnection.getOutputStream0(HttpURLConnection.java:1316)
at sun.net.www.protocol.http.HttpURLConnection.getOutputStream(HttpURLConnection.java:1291)
at sun.net.www.protocol.https.HttpsURLConnectionImpl.getOutputStream(HttpsURLConnectionImpl.java:250)
at twitter4j.HttpClientImpl.handleRequest(HttpClientImpl.java:137)
... 5 more