在频道 a mistake/bad 中使用引用吗?
Is using references in channels a mistake/bad?
假设我有一大串字符串,我想对它们进行排序,超出通常的 sort.Sort 和 sort.Slice 等我想使用多个核心来加快速度。因此,在阅读大列表时,我将字符串添加到 2 个不同的切片中,字符串以 a-m 和 n-z 开头(为了参数)。
与此同时,我启动了多个 go 例程来读取一个字符串切片通道,然后对它们自己的子列表进行排序。到目前为止,很好,"potentially" 并行处理列表,因此我的排序时间有效减半。伟大的。现在我的问题是如何将结果返回到主 goroutine?
最初每个 goroutine 有 2 个通道,一个用于传入未排序列表,另一个用于排序列表。是的,它可以工作......但是使用了太多内存(嘿,给出了我为这个测试修改的数据量,这可能不是不合理的)。但后来我突然意识到,在通道上传递一个切片实际上只是传递一个引用,所以我实际上不需要传回任何东西。不必将生成的排序列表放入 return 旅程的通道中显然不会对内存造成太大的负担,但它(对我来说)闻起来。
这意味着我可以让其中一个 goroutine 进行排序,同时主 goroutine(理论上)可以操纵同一个列表。只要使用纪律,这就不是问题,但显然仍然是一个问题。在 Go 中是否有一个普遍接受的最佳实践说不应将引用作为输入从一个 goroutine 传递到另一个......但是可以接受的是 goroutine 生成参考数据可以通过通道 returned (因为 goroutine 将停止使用引用)。
在任何人说之前,是的,我知道我不必通过渠道等传递这些,但这正是我正在修补并让我思考的情况。
长手波浪我知道。这是显示上述内容的最小代码子集。
package main
import (
"bufio"
"fmt"
"os"
"sort"
"strings"
"sync"
"time"
)
var wg sync.WaitGroup
func sortWordsList(id int, ch chan []string ) {
l := <- ch
sort.Strings(l)
wg.Done()
}
func main() {
file, err := os.Open("big.txt")
defer file.Close()
if err != nil {
fmt.Printf("BOOM %s\n", err.Error())
panic(err)
}
// Start reading from the file with a reader.
reader := bufio.NewReader(file)
inCh1 := make(chan []string, 1000)
inCh2 := make(chan []string, 1000)
go sortWordsList(1, inCh1)
go sortWordsList(2, inCh2)
wg.Add(2)
words1 := []string{}
words2 := []string{}
for {
line, err := reader.ReadString('\n')
if err != nil {
break
}
sp := strings.Split(line, " ")
for _,w := range sp {
word := strings.ToLower(w)
word = strings.TrimSuffix(word, "\n")
if len(word) > 0 {
// figure out where to go.
// arbitrary split.
if word[0] < 'm' {
words1 = append(words1, word)
} else {
words2 = append(words2, word)
}
}
}
}
inCh1 <- words1
inCh2 <- words2
close(inCh1)
close(inCh2)
wg.Wait()
// now have sorted words1 and words2 slices.
}
传递指针、切片或映射没有错。只要你同步了对共享变量的访问,你就可以传递一个指针,并在发送 goroutine 中继续使用它。对于像数组或大型结构这样的大型对象,传递指针通常是避免昂贵副本的合乎逻辑的做法。此外,避免传递指针意味着避免传递切片和映射,或任何包含切片、映射或指向其他结构的指针的内容。
如您所知,您实际上不需要通道,只需在构建切片后启动 goroutine,然后直接传递切片即可。
go sortWordsList(words1)
go sortWordsList(words2)
或:
go sort.Strings(words1)
go sort.Strings(words2)
假设我有一大串字符串,我想对它们进行排序,超出通常的 sort.Sort 和 sort.Slice 等我想使用多个核心来加快速度。因此,在阅读大列表时,我将字符串添加到 2 个不同的切片中,字符串以 a-m 和 n-z 开头(为了参数)。
与此同时,我启动了多个 go 例程来读取一个字符串切片通道,然后对它们自己的子列表进行排序。到目前为止,很好,"potentially" 并行处理列表,因此我的排序时间有效减半。伟大的。现在我的问题是如何将结果返回到主 goroutine?
最初每个 goroutine 有 2 个通道,一个用于传入未排序列表,另一个用于排序列表。是的,它可以工作......但是使用了太多内存(嘿,给出了我为这个测试修改的数据量,这可能不是不合理的)。但后来我突然意识到,在通道上传递一个切片实际上只是传递一个引用,所以我实际上不需要传回任何东西。不必将生成的排序列表放入 return 旅程的通道中显然不会对内存造成太大的负担,但它(对我来说)闻起来。
这意味着我可以让其中一个 goroutine 进行排序,同时主 goroutine(理论上)可以操纵同一个列表。只要使用纪律,这就不是问题,但显然仍然是一个问题。在 Go 中是否有一个普遍接受的最佳实践说不应将引用作为输入从一个 goroutine 传递到另一个......但是可以接受的是 goroutine 生成参考数据可以通过通道 returned (因为 goroutine 将停止使用引用)。
在任何人说之前,是的,我知道我不必通过渠道等传递这些,但这正是我正在修补并让我思考的情况。
长手波浪我知道。这是显示上述内容的最小代码子集。
package main
import (
"bufio"
"fmt"
"os"
"sort"
"strings"
"sync"
"time"
)
var wg sync.WaitGroup
func sortWordsList(id int, ch chan []string ) {
l := <- ch
sort.Strings(l)
wg.Done()
}
func main() {
file, err := os.Open("big.txt")
defer file.Close()
if err != nil {
fmt.Printf("BOOM %s\n", err.Error())
panic(err)
}
// Start reading from the file with a reader.
reader := bufio.NewReader(file)
inCh1 := make(chan []string, 1000)
inCh2 := make(chan []string, 1000)
go sortWordsList(1, inCh1)
go sortWordsList(2, inCh2)
wg.Add(2)
words1 := []string{}
words2 := []string{}
for {
line, err := reader.ReadString('\n')
if err != nil {
break
}
sp := strings.Split(line, " ")
for _,w := range sp {
word := strings.ToLower(w)
word = strings.TrimSuffix(word, "\n")
if len(word) > 0 {
// figure out where to go.
// arbitrary split.
if word[0] < 'm' {
words1 = append(words1, word)
} else {
words2 = append(words2, word)
}
}
}
}
inCh1 <- words1
inCh2 <- words2
close(inCh1)
close(inCh2)
wg.Wait()
// now have sorted words1 and words2 slices.
}
传递指针、切片或映射没有错。只要你同步了对共享变量的访问,你就可以传递一个指针,并在发送 goroutine 中继续使用它。对于像数组或大型结构这样的大型对象,传递指针通常是避免昂贵副本的合乎逻辑的做法。此外,避免传递指针意味着避免传递切片和映射,或任何包含切片、映射或指向其他结构的指针的内容。
如您所知,您实际上不需要通道,只需在构建切片后启动 goroutine,然后直接传递切片即可。
go sortWordsList(words1)
go sortWordsList(words2)
或:
go sort.Strings(words1)
go sort.Strings(words2)