Golang协程并发爬取图片源码，仅供学习

hdwan.net

1. package main
   
2. 
   
3. import (
   
4.         "fmt"
   
5.         "io/ioutil"
   
6.         "net/http"
   
7.         "os"
   
8.         "regexp"
   
9.         "strconv"
   
10.         "strings"
    
11.         "sync"
    
12.         "time"
    
13. )
    
14. 
    
15. var (
    
16.         reImg        = `https?://[^"]+?(\.((jpg)|(png)|(jpeg)|(gif)|(bmp)))`
    
17.         taskChan     chan string                                                      // 记录任务完成的通道
    
18.         imgChan      chan string                                                      // 图片通道
    
19.         waitGroup    sync.WaitGroup                                                   // 协程会涉及到并发，这个的作用具体的可百度
    
20.         pageStart    int            = 1                                               // 从第几页开始
    
21.         pageSize     int            = 30                                              // 扫描页数
    
22.         DownLoadPath string         = "D:/HBuilderX/project/GolangProject/爬虫小案例/img/" // 此处是图片下载的地址，需要修改为你们自己的地址
    
23. )
    
24. 
    
25. func main() {
    
26.         fmt.Println("从第几页开始")
    
27.         fmt.Scanln(&pageStart)
    
28. 
    
29.         fmt.Println("扫描页数")
    
30.         fmt.Scanln(&pageSize)
    
31. 
    
32.         taskChan = make(chan string, pageSize) // 给管道缓冲值
    
33.         imgChan = make(chan string, 100000)    // 给管道缓冲值
    
34. 
    
35.         for i := pageStart; i < pageStart+pageSize; i++ {
    
36.                 waitGroup.Add(1)
    
37.                 go getWebBody(i) // 获取地址的body
    
38.         }
    
39. 
    
40.         waitGroup.Add(1)
    
41.         go handleImg() // 处理img
    
42. 
    
43.         waitGroup.Add(1)
    
44.         go checkOk()
    
45. 
    
46.         waitGroup.Wait()
    
47. 
    
48.         fmt.Println("执行完毕,回车退出")
    
49.         var input string
    
50.         fmt.Scanln(&input)
    
51. }
    
52. 
    
53. func getWebBody(i int) {
    
54.         url := "https://www.bizhizu.cn/shouji/tag-%E5%8F%AF%E7%88%B1/" + strconv.Itoa(i) + ".html"
    
55.         resp, err := http.Get(url)
    
56.         if err != nil {
    
57.                 fmt.Println(err)
    
58.         }
    
59.         defer resp.Body.Close() // 此处不可少，否则会造成内存泄露或者溢出问题
    
60. 
    
61.         body, _ := ioutil.ReadAll(resp.Body)
    
62. 
    
63.         re := regexp.MustCompile(reImg) // 正则匹配图片地址
    
64. 
    
65.         result := re.FindAllStringSubmatch(string(body), -1)
    
66. 
    
67.         println("第" + strconv.Itoa(i) + "页找到数据" + strconv.Itoa(len(result)) + "条")
    
68. 
    
69.         for _, v := range result {
    
70.                 imgChan <- v[0] // 把得到的数据写到 管道 里
    
71.         }
    
72. 
    
73.         taskChan <- url
    
74. 
    
75.         waitGroup.Done()
    
76. }
    
77. 
    
78. // 处理图片方法
    
79. func handleImg() {
    
80.         for url := range imgChan {
    
81.                 fileName := GetFilenameFromUrl(url)
    
82.                 result := DownloadFile(url, fileName)
    
83.                 if result {
    
84.                         fmt.Printf("已下载完毕 %v \n", url)
    
85.                 } else {
    
86.                         fmt.Printf("下载失败 %v \n", url)
    
87.                 }
    
88.         }
    
89.         waitGroup.Done()
    
90. }
    
91. 
    
92. // 检查管道任务是否完成
    
93. func checkOk() {
    
94.         count := 0
    
95.         for {
    
96.                 url := <-taskChan
    
97.                 fmt.Printf("完成爬取：%v \n", url)
    
98.                 count++
    
99.                 if count == pageSize {
    
100.                         close(imgChan)
     
101.                         close(taskChan)
     
102.                         break
     
103.                 }
     
104.         }
     
105. 
     
106.         waitGroup.Done()
     
107. }
     
108. 
     
109. // 截取url名字
     
110. func GetFilenameFromUrl(url string) (filename string) {
     
111.         // 返回最后一个/的位置
     
112.         lastIndex := strings.LastIndex(url, "/")
     
113.         // 切出来
     
114.         filename = url[lastIndex+1:]
     
115.         // 时间戳解决重名
     
116.         timePrefix := strconv.Itoa(int(time.Now().UnixNano()))
     
117.         filename = timePrefix + "_" + filename
     
118.         return
     
119. }
     
120. 
     
121. // 下载文件方法
     
122. func DownloadFile(url string, filename string) bool {
     
123.         var err error
     
124.         resp, err := http.Get(url)
     
125.         if err != nil {
     
126.                 fmt.Println(err)
     
127.         }
     
128.         defer resp.Body.Close()
     
129.         bytes, err := ioutil.ReadAll(resp.Body)
     
130.         if err != nil {
     
131.                 fmt.Println(err)
     
132.         }
     
133. 
     
134.         if _, err := os.Stat(DownLoadPath); os.IsNotExist(err) {
     
135.                 // 必须分成两步
     
136.                 // 先创建文件夹
     
137.                 os.Mkdir(DownLoadPath, 0777)
     
138.                 // 再修改权限
     
139.                 os.Chmod(DownLoadPath, 0666)
     
140.         }
     
141. 
     
142.         filename = DownLoadPath + filename
     
143.         err = ioutil.WriteFile(filename, bytes, 0666)
     
144.         if err != nil {
     
145.                 return false
     
146.         }
     
147.         return true
     
148. }

复制代码

Twice

人生苦短，我用PYTHON

Mr.Bean

支持看到了if err 舒服了