Spring 在Heritrix 3.1.0中更改MirrorWriterProcessor的路径
我正在使用Heritrix 3.1.0进行爬行。我正在尝试使用MirrorWriterProcessor保存文件。但是,此选项在crawler-beans.cxml中不可用 我所做的是替换“warcWriter”“org.archive.modules.writer.WARCWriterProcessor” 到 “org.archive.modules.writer.MirrorWriterProcessor” 但是,此处理器会将镜像内容写入 $HERITRIX_主页/镜像 我将“路径”配置为“${launchId}/mirror”,希望Heritrix将镜像目录写入作业目录下Spring 在Heritrix 3.1.0中更改MirrorWriterProcessor的路径,spring,heritrix,Spring,Heritrix,我正在使用Heritrix 3.1.0进行爬行。我正在尝试使用MirrorWriterProcessor保存文件。但是,此选项在crawler-beans.cxml中不可用 我所做的是替换“warcWriter”“org.archive.modules.writer.WARCWriterProcessor” 到 “org.archive.modules.writer.MirrorWriterProcessor” 但是,此处理器会将镜像内容写入 $HERITRIX_主页/镜像 我将“路径”配置为“
如何将MirrorWriterProcessor的路径更改为作业目录下的路径?目前,您不能使用warcWritter接受的标记。但是,您可以编写一些spring魔术来创建自己的标记文件夹。这将为SimpleDataFormat的format函数创建一个工厂,并输出一个字符串,您可以使用该字符串创建一个带戳记的文件夹
<bean id="dateFormat" class="java.text.SimpleDateFormat">
<constructor-arg value="ddMMyyyy" />
</bean>
<bean id="formatedDate" factory-bean="dateFormat" factory-method="format">
<constructor-arg>
<bean class="java.util.Date" />
</constructor-arg>
</bean>
<bean id="mirrorWriter" class="org.archive.modules.writer.MirrorWriterProcessor">
<property name="path">
<bean class="java.lang.String">
<constructor-arg value="#{formatedDate + '/mirror'}" />
</bean>
</property>
...
...