//获取指定URL的页面内容
private string getHtml(string url, string charSet = "utf-8")//url是要访问的网站地址,charSet是目标网页的编码,如果传入的是null或者"",那就自动分析网页的编码
{
WebClient myWebClient = new WebClient(); //创建WebClient实例myWebClient
// 需要注意的:
//有的网页可能下不下来,有种种原因比如需要cookie,编码问题等等
//这是就要具体问题具体分析比如在头部加入cookie
// webclient.Headers.Add("Cookie", cookie);
//这样可能需要一些重载方法。根据需要写就可以了
//获取或设置用于对向 Internet 资源的请求进行身份验证的网络凭据。
myWebClient.Credentials = CredentialCache.DefaultCredentials;
//如果服务器要验证用户名,密码
//NetworkCredential mycred = new NetworkCredential(struser, strpassword);
//myWebClient.Credentials = mycred;
//从资源下载数据并返回字节数组。(加@是因为网址中间有"/"符号)
byte[] myDataBuffer;
try
{
myDataBuffer = myWebClient.DownloadData(url);
}
catch (Exception ee)
{
throw ee;
}
string strWebData = Encoding.Default.GetString(myDataBuffer);
//获取网页字符编码描述信息
Match charSetMatch = Regex.Match(strWebData, "<meta([^<]*)charset=([^<]*)\"", RegexOptions.IgnoreCase | RegexOptions.Multiline);
string webCharSet = charSetMatch.Groups[2].Value;
if (charSet == null || charSet == "")
charSet = webCharSet;
if (charSet != null && charSet != "" && Encoding.GetEncoding(charSet) != Encoding.Default)
strWebData = Encoding.GetEncoding(charSet).GetString(myDataBuffer);
return strWebData;
}
分享到:
相关推荐
http协议+socket获取网页内容源代码。
android获取网页内容,直接获取网页的详细内容
JAVA通过url获取网页内容
抓取网页数据。修改网址可以抓取任何网页,对于初学者来说是个很好的工程。网页爬虫,可实现速度很快的信息爬取,提供源码。
命令行下调用curl获取网页信息,例如在Java servlet中使用response.getWriter().print("success") curl就可以获取到"success",并保存到check.txt中,再从check.txt中读取数据,并做判断
C#获取网页内容 C#提取网页中的超链接 读取网页源码
python urllib or requests模块模拟浏览器获取网页内容
这个小例子实现了抓取网站内容,获取网站内容,读取网站所有内容,抓取网页内容,获取网页内容,读取网页所有内容,得到上次访问URL,得到请求的URL,很不错的喔!!! 赶紧下啦。。
用于获取网页信息!利用WebBrowser获取网页信息
命令行下调用curl获取网页信息,例如在Java servlet中使用response.getWriter().print("success") curl就可以获取到"success",并保存到check.txt中,再从check.txt中读取数据,并做判断
使用QT进行HTTP请求(get方法)获取网页(适合初学者)
VB在webbrowser控件中使用Document.body.innerhtml获取网页框架内的网页代码
近期使用delphi+edgebrowser开发一个学习工具,需要获取edgebrowser打开网页的源码,在国内各大网站苦苦寻觅若干天无果,呕心沥血特发奇想,通过delphi+js获取edgebrowser获取网页源码的方法,终于解决了问题。...
esp8266 通过模拟http协议获取网页信息的例程 共开发人员参考
Android获取网页内容,利用GET方法请求图书馆查询输入框,解析返回的HTML代码,并将查询结果放入ListView之中显示。
C#抓取网站内容代码,可以获取各大网站的内容正文的信息。如:新闻网站,等有正文内容的网站。
asp技术 如何远程获取网页内容方便获得网站信息
bat获取网页源码并保存txt到指定位置
通过使用jsoup库,获取网页的内容,解析修改网页,并且能够显示出修改的结果。
获取网页表格,获取网页内容,通过易语言 第一课简单讲解正则表达式 第二课获取网页指定内容到列表框.zip 第三课取网页其他分页的数据到列表框 第四课简单抓包制作搜索功能 第五课分析网页中的下载地址【完结】 ...