本文利用C#和.NET提供的类来轻松创建一个抓取网页内容源代码的程序。HTTP是WWW进行数据访问最基本的协议之一,在.NET的基本类型库类中提供了两个对象类:HTTPWebRequest和HTTPWebResponse,分别用来向某资源发送请求和获得响应。为了得到一个资源的内容,我们先指定一个想要抓取的URL地址,用HTTPWebRequest对象进行请求,用HTTPWebResponse对象接收响应的结果,最后用TextStream对象来提取我们想要的信息,并在控制台打印出来。
下面就是看看如何实现这样的功能:
第一步:打开VS.NET,点“文件”-“新建”-“项目”,项目类型选择“Visual C#项目”,模板选“Windows应用程序”,如下图所示:
第二步:在Form1里加入Label1,Button1,TextBox1,TextBox2四个控件,TextBox2的Multiline属性改为True,如下图所示:
第三步:在Form1窗体上点击右键,选“查看代码”,然后在最顶端输入:
using System.IO;
using System.Net;
using System.Text;
在
private void button1_Click(object sender, System.EventArgs e)
{
}
的括号之间输入下面的代码:
byte[] buf = new byte[38192];
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(textBox1.Text);
HttpWebResponse response = (HttpWebResponse)request.GetResponse();
Stream resStream = response.GetResponseStream();
int count = resStream.Read(buf, 0, buf.Length);
textBox2.Text = Encoding.Default.GetString(buf, 0, count);
resStream.Close();
第四步:点“Save all”按钮,按“F5”运行应用程序,在“请输入URL地址:”后面的单行文本框里输入http://lucky.myrice.com/down.htm,点击“得到 HTML 代码”按钮,就可以看到该地址的代码了!结果如下所示:
下面,我们就对上面的程序做一个分析:
上面的这个程序的功能是抓取网页http://www.csdn.net的内容,并在多行文本框里显示出HTML代码,由于返回的数据是字节类型的,因此,我们创建一个名为buf的字节类型的数组变量来存储请求返回来的结果,其中数组的大小与我们要请求返回的数据大小有关系。首先,我们实例化HttpWebRequest对象,使用WebRequest类的静态方法Create(),该方法的字符串参数就是我们要请求页面的URL地址,由于Create()方法返回的是WebRequest类型的,我们必须对它进行造型(即类型转换)成HttpWebRequest类型,再赋给request变量。一旦我们建立了HttpWebRequest对象,就可以使用它的GetResponse()方法来返回一个WebResponse对象,然后再造型成HttpWebResponse对象赋给response变量。现在,就可以使用response对象的GetResponseStream()方法来得到响应的文本流了,最后用Stream对象的Read()方法把返回的响应信息放到我们最初创建的字节数组buf中,Read()有3个参数,分别是:要放入的字节数组,字节数组的开始位置,字节数组的长度。最后把字节转换成字符串,注意:这里采用的采用的是Default编码,它使用默认的编码方式,我们就不用再进行字符编码之间的转换了。
也可以利用WebRequest和WebResponse实现以上的功能,代码如下:
WebRequest request = WebRequest.Create(textBox1.Text);
WebResponse response = request.GetResponse();
输入其它的URL看看是不是很方便!
分享到:
相关推荐
本文利用 C# 和 .NET 提供的类来轻松创建一个抓取网页内容源代码的程序
本人第一个资源,用C#语言编写的MDI字处理应用程序,具有简单的文档编辑和处理功能,比较全面地体现了MDI多文档界面应用程序的特点。
在C#中编写多线程应用程序,简单! 菜鸟必备
展示文章及源码链接:https://blog.csdn.net/Zj1638/article/details/125380593 通过实习指导书的公式,利用c#进行window窗体应用编写,可以实现大地坐标与高斯坐标的相互转换。
求阶乘-c#编写的求阶乘的控制台应用程序,有利于锻炼初学者的逻辑思维能力。
C#编写的base64算法包含utf-8和普通编码的base64算法应用程序可以查看网页代码,可以下载一切网页前台代码
C#编写的应用程序调用C#编写的dll
实现用C#编写的计算器程序,模拟Windows自带的计算器功能。
c#语言编写的c#版银行卡储蓄系统控制台应用程序,包括了所有源代码
C#编写的远程监控程序,可以秘密潜入对方电脑,进行文件,注册表等查看,以及修改,我还没有研究清楚所有功能,但是这是一套完整的源码,可以很方便的提供学习
99乘法表 c#编写99乘法表 c#编写99乘法表 c#编写
该代码通过c#控制台应用程序实现一个简单的模拟打斗的游戏,适合初学者学习面向对象时参考。
编写一个简单的计算机上的记事本小应用程序代码
用C#写的一个Modbus TCP客户端程序,配合博文 http://blog.csdn.net/thebestleo/article/details/52331976 学习
计算机的简单编写
用C#设计,实现加减乘法除,开方,倒数等运算,模拟Windows应用程序中的计算器设计!
用c#写的一个很简单程序,具体的写了记事本的各个步骤及介绍,对初学者有很大的帮助!
多窗口应用程序(C#源代码编写) 多窗口应用程序,可以新建窗体的源代码
数据库应用程序设计数据库应用程序设计数据库应用程序设计数据库应用程序设计C#方面包括关系型数据库mysql、以及非关系型数据库mongoDB数据库的编程
初学者编写的,比较简单。主要是简单的语句编写。 有高手请指点一下。本人将非常感谢。