小编Dou*_*lho的帖子

我一直在搜索一个简单的网络爬虫,我需要搜索我的StreamBuilder或字符串中的元素.例如,我需要获取id为"bodyDiv"的div中的所有内容.哪个工具帮我这个？

private static string GetPage(string url)

        {

            HttpWebRequest request = (HttpWebRequest)HttpWebRequest.Create(url);
            request.UserAgent = "Simple crawler";    
            WebResponse response = request.GetResponse();

            Stream stream = response.GetResponseStream();

            StreamReader reader = new StreamReader(stream);

            string htmlText = reader.ReadToEnd();
            return htmlText;

        }