Golang原生爬虫 简单爬虫实现 不依赖第三方包库 方便理解技术原理 （一）

正文

探索技术的路上本应该自己造轮子，即使市面上有再多的选择，自己动手尝试也是必要的，第一次尝试必然会问题众多，但你不觉得解决他是一件很有成就感的事情吗，这样才能带给你更大的进步和更深刻的领悟。

如果没有写过的并感兴趣的不妨一起来实现一下这个简单的爬虫。

其实用golang实现爬虫是很简单是事情，但也分情况，我们这次的文章就分享一种最简单的爬虫实现方式，用到的官方库如下：

[plain] view plain copy print ?

1. import (
2. "fmt"
3. "io"
4. "io/ioutil"
5. "net/http"
6. "os"
7. "regexp"
8. "strconv"
9. "strings"
10. "time"
11. )

import (
	"fmt"
	"io"
	"io/ioutil"
	"net/http"
	"os"
	"regexp"
	"strconv"
	"strings"
	"time"
)

如果你能单单通过这些库就想到该怎么做了，那你就很棒棒了。

为了让程序能一直运行下去，我们首先要有一个源网页，然后不断爬抓记录新的链接，记录的手段有很多，比如存在数据库、通过redis缓存、存在文本文件，最简单的应该就是存在数据库了，这个看你们的技术偏向了。我打算把爬来的链接储存在文本文件里。

首先，了解自己爬抓的目标，我准备爬取所有的Golang相关答疑或者文章，然后翻来覆去很多网站都感觉不适合做源网址，然后灵机一动，百度一下

然后就用这样作为源网址吧： 百度一下 - Golang实现

有了源网址，那下面的事情只要捋顺就好办了。首先我们为了抓取到链接，需要一个正则表达式

[plain] view plain copy print ?

1. var (
2. regHref       = `((ht|f)tps?)://[w]{0,3}.baidu.com/link\?[a-zA-z=0-9-\s]*`
3. )

var (
	regHref       = `((ht|f)tps?)://[w]{0,3}.baidu.com/link\?[a-zA-z=0-9-\s]*`
)

因为这个正则表达式我们后面可能会复用，所以可以存到一个全局变量里。

一个爬虫如果不限制分秒爬抓次数，那你的网络肯定会受不了，如果电脑配置不行的话，电脑也会挂掉，所以我们需要写一个计时器，golang已经提供了计时器的包 => time

[plain] view plain copy print ?

1. func Timer() {
2. t := time.NewTimer(time.Second * 1)
3. <-t.C
4. fmt.Print("\n\n\n执行爬抓\n\n")
5. Timer()
6. }

func Timer() {
	t := time.NewTimer(time.Second * 1)
	<-t.C
	fmt.Print("\n\n\n执行爬抓\n\n")
	Timer()
}

为什么要写在一个Timer函数里？当然是用来调用的 /手动滑稽

因为我们存在两种情况，第一次爬取或不是第一次爬取的情况是做不同操作的。那要怎么判断呢？因为我们的链接是储存在txt文件里的，所以我们只需要去查txt文件是不是为空，如果为空就认为他是第一次执行程序，先访问源网址，否则就按照文件里的链接依次访问。

代码如下：

[plain] view plain copy print ?

1. func main() {
2. if checkFile("./data/", "url.txt").Size() == 0 {
3. fistStart()
4. main()
5. } else {
6. Timer()
7. }
8. }

func main() {
	if checkFile("./data/", "url.txt").Size() == 0 {
		fistStart()
		main()
	} else {
		Timer()
	}
}

那我们先看一下firstStart()函数，稍后再解释代码：

[plain] view plain copy print ?

1. func fistStart() {
2. var num int
3. url := "http://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&tn=39042058_20_oem_dg&wd=golang%E5%AE%9E%E7%8E%B0&oq=golang%2520%25E5%2588%25A0%25E9%2599%25A4%25E6%2595%25B0%25E7%25BB%2584&rsv_pq=d9be28ec0002df1b&rsv_t=8017GWpSLPhDmKilZQ1StC04EVpUAeLEP90NIm%2Bk5pRh5R9o57NHMO8Gaxm1TtSOo%2FvtJj%2B98%2Fsc&rqlang=cn&rsv_enter=1&inputT=3474&rsv_sug3=16&rsv_sug1=11&rsv_sug7=100&rsv_sug2=0&rsv_sug4=4230"
4. resp, _ := http.Get(url)
5. defer resp.Body.Close()
6. body, _ := ioutil.ReadAll(resp.Body)
7. reg := regexp.MustCompile(`((ht|f)tps?)://[w]{0,3}.baidu.com/link\?[a-zA-z=0-9-\s]*`)
8. f, _ := os.OpenFile("./data/url.txt", os.O_CREATE|os.O_APPEND|os.O_RDWR, 0666)
9. defer f.Close()
10. for _, d := range reg.FindAllString(string(body), -1) {
11. ff, _ := os.OpenFile("./data/url.txt", os.O_RDWR, 0666)
12. file, _ := ioutil.ReadAll(ff)
13. dd := strings.Split(d, "")
14. dddd := ""
15. for _, ddd := range dd {
16. if ddd == "?" {
17. ddd = `\?`
18. }
19. dddd += ddd
20. }
21. if checkRegexp(string(file), dddd, 0).(string) == "" {
22. io.WriteString(f, d+"\n")
23. fmt.Print("\n收集地址：" + d + "\n")
24. num++
25. }
26. // fmt.Print(string(file))
27. ff.Close()
28. }
29. fmt.Print("\n首次收集网络地址：" + strconv.Itoa(len(reg.FindAllString(string(body), -1))) + "\n")
30. fmt.Print("\n去重后网络地址数：" + strconv.Itoa(num))
31. fmt.Print("\n\n首次储存成功！\n")
32. }

func fistStart() {
	var num int
	url := "http://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&tn=39042058_20_oem_dg&wd=golang%E5%AE%9E%E7%8E%B0&oq=golang%2520%25E5%2588%25A0%25E9%2599%25A4%25E6%2595%25B0%25E7%25BB%2584&rsv_pq=d9be28ec0002df1b&rsv_t=8017GWpSLPhDmKilZQ1StC04EVpUAeLEP90NIm%2Bk5pRh5R9o57NHMO8Gaxm1TtSOo%2FvtJj%2B98%2Fsc&rqlang=cn&rsv_enter=1&inputT=3474&rsv_sug3=16&rsv_sug1=11&rsv_sug7=100&rsv_sug2=0&rsv_sug4=4230"
	resp, _ := http.Get(url)
	defer resp.Body.Close()
	body, _ := ioutil.ReadAll(resp.Body)
	reg := regexp.MustCompile(`((ht|f)tps?)://[w]{0,3}.baidu.com/link\?[a-zA-z=0-9-\s]*`)
	f, _ := os.OpenFile("./data/url.txt", os.O_CREATE|os.O_APPEND|os.O_RDWR, 0666)
	defer f.Close()
	for _, d := range reg.FindAllString(string(body), -1) {
		ff, _ := os.OpenFile("./data/url.txt", os.O_RDWR, 0666)
		file, _ := ioutil.ReadAll(ff)
		dd := strings.Split(d, "")
		dddd := ""
		for _, ddd := range dd {
			if ddd == "?" {
				ddd = `\?`
			}
			dddd += ddd
		}
		if checkRegexp(string(file), dddd, 0).(string) == "" {
			io.WriteString(f, d+"\n")
			fmt.Print("\n收集地址：" + d + "\n")
			num++
		}
		// fmt.Print(string(file))
		ff.Close()
	}
	fmt.Print("\n首次收集网络地址：" + strconv.Itoa(len(reg.FindAllString(string(body), -1))) + "\n")
	fmt.Print("\n去重后网络地址数：" + strconv.Itoa(num))
	fmt.Print("\n\n首次储存成功！\n")
}

请到「今天看啥」查看全文