C#实现Internet信息抓取-c#抓取网页数据

背景

随着Internet的普及，网络信息正以极高的速度增长，在这么多数据中找到自己需要的信息是一件很繁琐的事情，找到需要的信息后如何获取也是件麻烦的事。这就需要C#实现Internet信息抓取程序来代替人工的操作。
所谓Internet信息抓取程序，就是程序会按照用户的关键词或关键网站来收集相应的信息，并提供给用户想要的信息格式。

信息量的增加会带来信息网站发布人员工作量的剧增，为实现信息发布系统实现信息自
动发布、减少工作人员工作量、即时跟踪最新信息，就需要自动信息提供程序，因此C#实现Internet信息抓取程序应运而生。

目标

实现自定义网站信息分类抓取，存入本地数据库、生成静态页面或其它用户定义的信息结构，并下载与信息相关的多媒体文件。

开发

目标站点结构分析
本步骤是准确抓取信息个关键。
首先要选择更新频率高的页面做为抓取地址，然后分析要抓取内容页面url特点。
然后分析要抓取信息页面的元素特性，比如标题位置，内容位置等，得到定位标记点。
将以上信息写成自己的配置文件或存到数据库中。
每个网站都需要分析，写出单独的配置文件，供抓取程序使用。

信息提取
根据配置文件取得要抓取页面url，使用HttpWebRequest类获取内容：

//获取http页面函数  
publicstringGet_Http(stringa_strUrl,inttimeout)  
{  
stringstrResult;  
 
try  
{  
HttpWebRequestmyReq=(HttpWebRequest)HttpWebRequest.Create(a_strUrl);  
myReq.Timeout=timeout;  
HttpWebResponseHttpWResp=(HttpWebResponse)myReq.GetResponse();  
 
StreammyStream=HttpWResp.GetResponseStream();  
 
StreamReadersr=newStreamReader(myStream,Encoding.Default);  
StringBuilderstrBuilder=newStringBuilder();  
while(-1!=sr.Peek())  
{  
strBuilder.Append(sr.ReadLine()+"\r\n");  
}  
 
strResult=strBuilder.ToString();  
}  
catch(Exceptionexp)  
{  
strResult="错误："+exp.Message;  
}  
 
returnstrResult;  
 
}

以上介绍C#实现Internet信息抓取

【编辑推荐】