java——获取网页源代码
import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import java.net.URL;import java.net.URLConnection;//数据抓取核心类public class Copy {// 获取网页数据/*...
·
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URL;
import java.net.URLConnection;
//数据抓取核心类
public class Copy {
// 获取网页数据
/*
* @param url:目标网址
*
* @param encoding:编码
*/
public static String getHtmlResourceByUrl(String url, String encoding) {
StringBuffer buffer=new StringBuffer();
InputStreamReader isr=null;
try {
// 建立网络连接
URL urlObj = new URL(url);
// 打开网络连接
URLConnection uc = urlObj.openConnection();
/*
* io 流
* 从服务器下载源码到本地
* */
isr =new InputStreamReader(uc.getInputStream(),encoding);//建立文件的输入流
BufferedReader reader =new BufferedReader(isr);//缓冲
String line=null;
while ((line=reader.readLine())!=null) {
buffer.append(line+"\n");
}
} catch (Exception e) {
e.printStackTrace();
}
finally{
try{
if(null!=isr)isr.close();}
catch(IOException e){
e.printStackTrace();
}
}
return buffer.toString();
}
// 主函数
public static void main(String[] args) {
String htmlString=getHtmlResourceByUrl("http://www.qq.com", "gbk");
System.out.println(htmlString);
}
}
更多推荐
已为社区贡献4条内容
所有评论(0)