java网络下载

jar包

commons-codec-1.11.jar
commons-logging-1.2.jar
fluent-hc-4.5.9.jar
httpclient-4.5.9.jar
httpclient-cache-4.5.9.jar
httpclient-osgi-4.5.9.jar
httpclient-win-4.5.9.jar
httpcore-4.4.11.jar
httpmime-4.5.9.jar
jna-4.5.2.jar
jna-platform-4.5.2.jar
jsoup-1.12.1.jar

代码

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.MalformedURLException;
import java.net.URL;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.select.Elements;


/**
 * @author Administrator
 * @date   2019-10-06 17:16
 *
 */
public class PaText {

	public static void main(String[] args) {
        //传入你所要爬取的页面地址
		String url1="#";   
		//创建输入流用于读取流
        InputStream is=null; 
        
         //包装流,加快读取速度
		 BufferedReader br=null; 
        
       
        //创建临时字符串用于保存每一次读的一行数据，然后html调用append方法写入temp;
		 StringBuffer html=new StringBuffer(); 
        
        //用来保存读取页面的数据.
		 String temp=""; 
		 try {
		  URL url2 = new URL(url1); //获取URL;
		  is = url2.openStream(); //打开流，准备开始读取数据;
             
             //将流包装成字符流，调用br.readLine()可以提高读取效率，每次读取一行;
		  br= new BufferedReader(new InputStreamReader(is)); 
             
  //读取数据,调用br.readLine()方法每次读取一行数据,并赋值给temp,如果没数据则值==null,跳出循环;
		  while ((temp = br.readLine()) != null) {
			  html.append(temp); 
		  }
		  //System.out.println(html); //打印出爬取页面的全部代码;
		  if(is!=null)  //接下来是关闭流,防止资源的浪费;
		  {
		   is.close();
		   is=null;
		  }
		  Document doc = Jsoup.parse(html.toString()); //通过Jsoup解析页面,生成一个document对象;
		  Elements elements = doc.getElementsByTag("pre");//通过class的名字得到（即XX）,一个数组对象Elements里面有我们想要的数据,至于这个div的值呢你打开浏览器按下F12就知道了;
		  String res = elements.get(0).html();
		  String[] split = res.split("，");
		  StringBuilder stringBuilder = new StringBuilder();
		  for (String string : split) {
			  //System.out.println(string.trim());
			  stringBuilder.append("，"+string.trim());
		  }
		  System.out.println(stringBuilder.toString());
		   //System.out.println(nodeList.); //打印出每一个节点的信息;你可以选择性的保留你想要的数据,一般都是获取个固定的索引;

		 } catch (MalformedURLException e) {
		  // TODO Auto-generated catch block
		  e.printStackTrace();
		 } catch (IOException e) {
		  // TODO Auto-generated catch block
		  e.printStackTrace();
		 }
	}

}