Sockets 带MAPR、Storm、Kafka和Cassandra的Divolte收集器

我不确定我是否能在这里得到帮助，但我认为值得一试

我在AWS上有3个节点的集群，我正在运行MAPR M3，我安装了Storm、Kafka和Divolte collector以及Cassandra。我想尝试一些clickstream示例，但我遇到了一个问题。对于java和分布式处理来说，我还是个新手，我有一些澄清问题。再一次，我不太确定该在哪里发布，因为我觉得这是特定于divolte收集器的，我对javadoc概念以及jar文件的构建和运行的理解也有一些差距；但我想有人可以给我提供一些资源或帮助我澄清一些问题。我无法使json字符串显示在运行netcat套接字的控制台中，以侦听单击：

Divolte tcp kafka消费者示例

在netcat第7部分之前，一切都正常，我的知识差距与第6步相同

Step 1: install and configure Divolte Collector

Install works和hello world click collections很有希望：-）

没有错误加上测试卡夫卡的例子，所以似乎工作以及

Step 3: start Divolte Collector

Go into the bin directory of your installation and run:

    cd divolte-collector-0.2/bin
    ./divolte-collector

步骤3无故障，可以测试默认的divole收集器测试页面

Step 4: host your Javadoc files

Setup a HTTP server that serves the Javadoc files that you generated or downloaded for the examples. If you have Python installed, you can use this:

    cd <your-javadoc-directory>
    python -m SimpleHTTPServer

通过打开端口并发送消息来测试netcat，因此我认为AWS上没有任何端口问题

Step 6: run the example

    cd divolte-examples/tcp-kafka-consumer
    mvn clean package
    java -jar target/tcp-kafka-consumer-*-jar-with-dependencies.jar

Note: for this to work, you need to have the avro-schema project installed into your local Maven repository.

我在示例附带的avro项目中安装了带有mvn clean install的avro模式。按照指示

我在netcat窗口中看不到单击：( 在调查这个问题时，我使用chrome开发者工具查看了控制台和网络选项卡。divolte似乎正在运行，但我不确定如何进一步挖掘。这是控制台视图。有什么想法或建议吗

谢谢你

 Initializing Divolte.
divolte.js:140 Divolte base URL detected http://ec2-x-x-x-x.us-west-x.compute.amazonaws.com:8290/
divolte.js:280 Divolte party/session/pageview identifiers ["0:i6i3g0jy:nxGMDVdU9~f1wF3RGqwmCKKICn4d1Sb9", "0:i6qx4rmi:IXc1i6Qcr17pespL5lIlQZql956XOqzk", "0:6ZIHf9BHzVt_vVNj76KFjKmknXJixquh"]
divolte.js:307 Module initialized. Object {partyId: "0:i6i3g0jy:nxGMDVdU9~f1wF3RGqwmCKKICn4d1Sb9", sessionId: "0:i6qx4rmi:IXc1i6Qcr17pespL5lIlQZql956XOqzk", pageViewId: "0:6ZIHf9BHzVt_vVNj76KFjKmknXJixquh", isNewPartyId: false, isFirstInSession: false…}
divolte.js:21 Signalling event: pageView 0:6ZIHf9BHzVt_vVNj76KFjKmknXJixquh0
allclasses-frame.html:9 GET http://ec2-x-x-x-x.us-west-x.compute.amazonaws.com:8000/resources/fonts/dejavu.css 
overview-summary.html:200 GET http://localhost:8290/divolte.js net::ERR_CONNECTION_REFUSED

（简介：我从事于双电压采集器的工作）

似乎您正在某处的AWS实例上运行该示例。如果您使用示例附带的预打包JavaDoc文件，则它们已将divolte位置硬编码为。因此，如果您运行的不是localhost，您可能应该为该示例创建自己的JavaDoc，使用正确的主机名为Divolte收集器服务器

您可以使用此命令执行此操作。请确保从源目录树的根目录运行它。当然，还可以更改运行收集器的主机名的localhost

javadoc -d YOUR_OUTPUT_DIRECTORY \
    -bottom '<script src="//localhost:8290/divolte.js" defer async></script>' \
    -subpackages .

显然，这是一个绕过类路径特性的小技巧，我们希望在将来提供一个基于MapR编译的发行版

此外，您还需要Java 8来运行Divolte。如果您从安装，请将适当的Java_HOME添加到Divolte-env.sh，例如：

JAVA_HOME=/usr/java/jdk1.8.0_31

通过这些设置，我可以运行服务器并在MapR FS上收集Avro文件，在这些文件上创建外部配置单元表并运行查询

 Initializing Divolte.
divolte.js:140 Divolte base URL detected http://ec2-x-x-x-x.us-west-x.compute.amazonaws.com:8290/
divolte.js:280 Divolte party/session/pageview identifiers ["0:i6i3g0jy:nxGMDVdU9~f1wF3RGqwmCKKICn4d1Sb9", "0:i6qx4rmi:IXc1i6Qcr17pespL5lIlQZql956XOqzk", "0:6ZIHf9BHzVt_vVNj76KFjKmknXJixquh"]
divolte.js:307 Module initialized. Object {partyId: "0:i6i3g0jy:nxGMDVdU9~f1wF3RGqwmCKKICn4d1Sb9", sessionId: "0:i6qx4rmi:IXc1i6Qcr17pespL5lIlQZql956XOqzk", pageViewId: "0:6ZIHf9BHzVt_vVNj76KFjKmknXJixquh", isNewPartyId: false, isFirstInSession: false…}
divolte.js:21 Signalling event: pageView 0:6ZIHf9BHzVt_vVNj76KFjKmknXJixquh0
allclasses-frame.html:9 GET http://ec2-x-x-x-x.us-west-x.compute.amazonaws.com:8000/resources/fonts/dejavu.css 
overview-summary.html:200 GET http://localhost:8290/divolte.js net::ERR_CONNECTION_REFUSED

javadoc -d YOUR_OUTPUT_DIRECTORY \
    -bottom '<script src="//localhost:8290/divolte.js" defer async></script>' \
    -subpackages .

HADOOP_CONF_DIR=/usr/share/divolte/lib/guava-18.0.jar:/usr/share/divolte/lib/avro-1.7.7.jar:$(hadoop classpath)

JAVA_HOME=/usr/java/jdk1.8.0_31