Java:ApachePOI:我可以从MS Word(.doc)文件中获取干净的文本吗?
在使用ApachePOI时,我从MS Word文件(以编程方式)获取的字符串与使用MS Word打开文件时看到的文本不同 使用以下代码时:Java:ApachePOI:我可以从MS Word(.doc)文件中获取干净的文本吗?,java,text,ms-word,apache-poi,extraction,Java,Text,Ms Word,Apache Poi,Extraction,在使用ApachePOI时,我从MS Word文件(以编程方式)获取的字符串与使用MS Word打开文件时看到的文本不同 使用以下代码时: File someFile = new File("some\\path\\MSWFile.doc"); InputStream inputStrm = new FileInputStream(someFile); HWPFDocument wordDoc = new HWPFDocument(inputStrm); System.out.println(w
File someFile = new File("some\\path\\MSWFile.doc");
InputStream inputStrm = new FileInputStream(someFile);
HWPFDocument wordDoc = new HWPFDocument(inputStrm);
System.out.println(wordDoc.getText());
输出是一条单线,输出是一条单线,有许多“无效”字符(是的,是“盒子”中的“盒子”)和许多不需要的字符串,如“FORMTEXT
““FORMTEXT
””,“code>超链接“code>超链接”、“
以下代码“修复”了单行问题,但保留了所有无效字符和不需要的文本:
File someFile = new File("some\\path\\MSWFile.doc");
InputStream inputStrm = new FileInputStream(someFile);
WordExtractor wordExtractor = new WordExtractor(inputStrm);
for(String paragraph:wordExtractor.getParagraphText()){
System.out.println(paragraph);
}
我不知道我是否使用了错误的方法来提取文本,但这就是我在查看时想到的。如果是,正确的方法是什么
如果输出是正确的,是否有一种标准方法来消除不需要的文本,或者我必须自己编写一个过滤器?有两个选项,一个直接在Apache POI中提供,另一个通过Apache Tika(内部使用Apache POI)提供
第一个选项是使用WordExtractor
,但在调用时将其包装在对的调用中。这将删除文本中包含的基于文本的字段,如您看到的超链接。您的代码将变成:
NPOIFSFileSystem fs = new NPOIFSFileSytem(file);
WordExtractor extractor = new WordExtractor(fs.getRoot());
for(String rawText : extractor.getParagraphText()) {
String text = extractor.stripFields(rawText);
System.out.println(text);
}
另一个选择是使用。Tika为各种各样的文件提供文本提取和元数据,因此相同的代码也适用于.doc、.docx、.pdf和许多其他文件。要获得word文档的干净、纯文本(如果愿意,也可以获得XHTML),您可以执行以下操作:
TikaConfig tika = TikaConfig.getDefaultConfig();
TikaInputStream stream = TikaInputStream.get(file);
ContentHandler handler = new BodyContentHandler();
Metadata metadata = new Metadata();
tika.getParser().parse(input, handler, metadata, new ParseContext());
String text = handler.toString();
此类可以读取Java中的.doc和.docx文件。为此,我使用tika-app-1.2.jar:
/*
* This class is used to read .doc and .docx files
*
* @author Developer
*
*/
import java.io.ByteArrayOutputStream;
import java.io.File;
import java.io.InputStream;
import java.io.OutputStream;
import java.io.OutputStreamWriter;
import java.net.URL;
import org.apache.tika.detect.DefaultDetector;
import org.apache.tika.detect.Detector;
import org.apache.tika.io.TikaInputStream;
import org.apache.tika.metadata.Metadata;
import org.apache.tika.parser.AutoDetectParser;
import org.apache.tika.parser.ParseContext;
import org.apache.tika.parser.Parser;
import org.apache.tika.sax.BodyContentHandler;
import org.xml.sax.ContentHandler;
class TextExtractor {
private OutputStream outputstream;
private ParseContext context;
private Detector detector;
private Parser parser;
private Metadata metadata;
private String extractedText;
public TextExtractor() {
context = new ParseContext();
detector = new DefaultDetector();
parser = new AutoDetectParser(detector);
context.set(Parser.class, parser);
outputstream = new ByteArrayOutputStream();
metadata = new Metadata();
}
public void process(String filename) throws Exception {
URL url;
File file = new File(filename);
if (file.isFile()) {
url = file.toURI().toURL();
} else {
url = new URL(filename);
}
InputStream input = TikaInputStream.get(url, metadata);
ContentHandler handler = new BodyContentHandler(outputstream);
parser.parse(input, handler, metadata, context);
input.close();
}
public void getString() {
//Get the text into a String object
extractedText = outputstream.toString();
//Do whatever you want with this String object.
System.out.println(extractedText);
}
public static void main(String args[]) throws Exception {
if (args.length == 1) {
TextExtractor textExtractor = new TextExtractor();
textExtractor.process(args[0]);
textExtractor.getString();
} else {
throw new Exception();
}
}
}
汇编:
javac -cp ".:tika-app-1.2.jar" TextExtractor.java
要运行:
java -cp ".:tika-app-1.2.jar" TextExtractor SomeWordDocument.doc
试试这个,对我来说很有用,而且纯粹是一个POI解决方案。不过,您必须寻找HWPF文档对应项。确保您正在阅读的文档早于Word 97,否则请像我一样使用XWPFDocument
InputStream inputstream = new FileInputStream(m_filepath);
//read the file
XWPFDocument adoc= new XWPFDocument(inputstream);
//and place it in a xwpf format
aString = new XWPFWordExtractor(adoc).getText();
//gets the full text
现在,如果您想要某些部分,您可以使用getparagraphtext,但不使用文本提取器,直接在段落上使用它,如下所示
for (XWPFParagraph p : adoc.getParagraphs())
{
System.out.println(p.getParagraphText());
}
第二个解决方案在我的测试中不起作用。TIKA-1.2从.doc文件返回FORMCHECKBOX和其他内容。docx文件运行良好。我建议您尝试使用最新的Tika版本1.3。如果问题仍然存在,请上传一个显示该问题的示例文件,以便我们进行调查!对于我来说,Tika 1.3中仍然存在这种情况,不管它值多少钱,你最好报告一个针对ApacheTika的bug,并包含一个显示问题的文件