如何将大量数据编组到 XML

Question

我需要通过 XML 发送大量数据，而我的 Docker 容器在执行任务时内存不足。有没有一种方法可以使用 Go 来增量编组大型 XML 文档并将其增量写入文件以最小化内存使用量？

Answer 1

使用xml.Encoder to stream the XML output to an io.Writer that may be a network connection (net.Conn) or a file (os.File)。完整的结果不会保存在内存中。

您可以使用 Encoder.Encode() to encode a Go value to XML. Generally you may pass any Go value that you would pass to xml.Marshal().

Encoder.Encode() 仅当您要编组的数据已在内存中准备就绪时才有用，这对您来说可能可行也可能不可行。例如。如果你想编组一个不能（或不应该）读入内存的大列表，这对你来说不是救赎。

如果输入的数据也不能保存在内存中，那么你可以通过token和元素构造XML的输出。您可以为此使用 Encoder.EncodeToken()，这样您就可以编写结果 XML 文档的 "parts"。

例如，如果你想写一个大列表到输出，你可以写一个开始元素标签（例如<list>），然后一个一个地写列表的元素（每个获取来自数据库或文件，或由动态算法构建），一旦列表被编组，您可以关闭列表元素标签（</list>）。

这是一个简单的例子，你可以如何做到这一点：

type Student struct {
    ID   int
    Name string
}

func main() {
    he := func(err error) {
        if err != nil {
            panic(err) // In your app, handle error properly
        }
    }

    // For demo purposes we use an in-memory buffer,
    // but this may be an os.File too.
    buf := &bytes.Buffer{}

    enc := xml.NewEncoder(buf)
    enc.Indent("", "  ")

    he(enc.EncodeToken(xml.StartElement{Name: xml.Name{Local: "list"}}))
    for i := 0; i < 3; i++ {
        // Here you can fetch / construct the records
        he(enc.Encode(Student{ID: i, Name: string(i + 'A')}))
    }
    he(enc.EncodeToken(xml.EndElement{Name: xml.Name{Local: "list"}}))
    he(enc.Flush())

    fmt.Println(buf.String())
}

上面的输出是（在Go Playground上试试）：

<list>
  <Student>
    <ID>0</ID>
    <Name>A</Name>
  </Student>
  <Student>
    <ID>1</ID>
    <Name>B</Name>
  </Student>
  <Student>
    <ID>2</ID>
    <Name>C</Name>
  </Student>
</list>

如何将大量数据编组到 XML

How to marshal a large amount of data to XML

xml

marshalling

go