jsoup的基础理论

一、 JSOUP简介

在以往用java来处理解析HTML文档或者片段时，我们通常会采用htmlparser（http://htmlparser.sourceforge.net/）这个开源类库。现在我们有了JSOUP，以后的处理HTML的内容只需要使用JSOUP就已经足够了，JSOUP有更快的更新，更方便的API等。

jsoup 是一款 Java 的HTML 解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据，可以看作是java版的jQuery。

jsoup的主要功能如下：

从一个URL，文件或字符串中解析HTML；

使用DOM或CSS选择器来查找、取出数据；

可操作HTML元素、属性、文本；

jsoup是基于MIT协议发布的，可放心使用于商业项目。官方网站：http://jsoup.org/

二、解析遍历HTML文档

Jsoup处理HTML文件是，是将用户输入的HTML文档，解析转换成一个Document对象进行处理。Jsoup一般支持以下几种来源内容的转换。

解析一个html字符串

解析一个body片段

根据一个url地址加载Document对象

根据一个文件加载Document对象

(一)解析一个html字符串

在处理一个html字符串。我们可能需要对其进行解析，并提取其内容，或校验其格式是否完整，或者想修改它。Jsoup可以帮助我们轻松的解决这些问题。

在Jsoup中有一个这样的静态方法Jsoup.parse(String html)，可以将我们的html片段转换成Document对象。示例如下：

String html ="<div><p align=\"center\"><img alt=\"\" width=\"660\" height=\"852\" src=\"/erp/UserFiles/Image/51.jpg\" />这是P元素的内容</p>";

Document document = Jsoup.parse(html);

使用上面的方法，就可以将html字符串，转换成Document对象，一旦有了Document对象，我们就可以使用其中适当的方法根据需求处理问题。我们可以看到这里转换的html片段并不是一个合法的html片段，里面的div标签没有闭合。这对于Jsoup来说不是问题，它可以很好的处理这类问题。

(二) 解析body片段

假如我们现在有一个HTML片断 (比如. 一个 div 包含一对 p 标签; 一个不完整的HTML文档) 想对它进行解析。这个HTML片断可以是用户提交的一条评论或在一个CMS页面中编辑body部分。我们可以使用使用Jsoup.parseBodyFragment(String html)方法。

示例如下：

String html ="<div><p align=\"center\"><img alt=\"\" width=\"660\" height=\"852\" src=\"/erp/UserFiles/Image/51.jpg\" />这是P元素的内容</p>";

Document document = Jsoup.parseBodyFragment(html);

看到这里可能会有疑问，这个和上面的html片段是一样的嘛。没错是一样的，parseBodyFragment 方法创建一个空壳的文档，并插入解析过的HTML到body元素中。假如使用正常的 Jsoup.parse(String html) 方法，通常也可以得到相同的结果，但是明确将用户输入作为 body片段处理，以确保用户所提供的任何糟糕的HTML都将被解析成body元素。

Document.body() 方法能够取得文档body元素的所有子元素，与doc.getElementsByTag("body")相同。

(三) 根据一个URL地址加载Document对象

有时候我们可能希望通过一个url地址，然后提取里面的内容，转换成document对象。我们以前可能是使用http client等模拟一个请求，然后取得返回内容等，使用Jsoup方便简单的解决这个问题。示例如下：

帮助

Document document = Jsoup.connect("http://www.baidu.com").get();

String title = document.title();

String text = document.text();

connect(String url) 方法创建一个新的 Connection, 和 get() 取得和解析一个HTML文件。如果从该URL获取HTML时发生错误，便会抛出 IOException，应适当处理。

Connection 接口还提供一个方法链来解决特殊请求，具体如下：

帮助

Document doc = Jsoup.connect("http://test.com").data("query","Java").userAgent("Mozilla").cookie("auth","token").timeout(3000).post();

可以向链接地址post参数，设置userAgent，cookie，timeout等，而且这里是采用的链接操作很方便（熟悉jQuery的应该很熟悉这样的链接操作）。

(四)根据文件加载document

有时候我们要处理的html内容，可能是存在硬盘上的某个文件里面，我们需要从中提取或者解析某些内容出来，我们可以通过Jsoup来这样处理。示例代码如下：

帮助

File input =newFile("d:/input.html");

Document doc = Jsoup.parse(input,"UTF-8","http://test.com/");

看到这里可能有一个疑问，第一个参数是文件，第二是编码，第三个是什么呢?第三个参数是baseUrl，使用他我们可以方便的处理相对路径问题，如果不需要可以不传，这是一个多态方法，在前面的三个部分里面，都可以再加一个这样的baseUrl，后面会详细讲述。

三、数据抽取

(一) 使用Dom方法遍历文档

通过第二章我们可以获取一个document的对象，我们可以通过这个对象来遍历文档，如：

Document doc = Jsoup.parse(input,"UTF-8","http://test.com/");

Element content = doc.getElementById("content");

Elements links = content.getElementsByTag("a");

for(Element link : links) {

String linkHref = link.attr("href");

String linkText = link.text();

}

本站文章除注明转载/出处外，均为本站原创或翻译，转载前请务必署名,转载请标明出处
最后编辑时间为: 2019/12/22 23:40