使用CSV格式化数据

CSV是操作数据的常用格式。将CSV文件导入或导出到Excel中亦是很常见的操作。Go的CSV包提供了数据操作接口，因此可以轻松地将数据写入缓冲区，标准输出，文件或socket。本节将展示将数据导入和导出CSV格式的一些常用方法。

实践

1.建立read_csv.go：

package csvformat

import (
    "bytes"
    "encoding/csv"
    "fmt"
    "io"
    "strconv"
)

// Movie用来存储CSV解析后的内容
type Movie struct {
    Title    string
    Director string
    Year     int
}

// ReadCSV 展示了如何处理CSV
// 接收的参数通过io.Reader传入
func ReadCSV(b io.Reader) ([]Movie, error) {

    //返回的是csv.Reader
    r := csv.NewReader(b)

    // 分隔符和注释是csv.Reader结构体中的字段
    r.Comma = ';'
    r.Comment = '-'

    var movies []Movie

    // 读取并返回一个字符串切片和错误信息
    // 我们也可以将其用于字典键或其他形式的查找
    // 此处忽略了返回的切片 目的是跳过csv首行标题
    _, err := r.Read()
    if err != nil && err != io.EOF {
        return nil, err
    }

    // 循环直到全部处理完毕
    for {
        record, err := r.Read()
        if err == io.EOF {
            break
        } else if err != nil {
            return nil, err
        }

        year, err := strconv.ParseInt(record[2], 10, 64)
        if err != nil {
            return nil, err
        }

        m := Movie{record[0], record[1], int(year)}
        movies = append(movies, m)
    }
    return movies, nil
}

// AddMoviesFromText 将字符串按 CSV 格式解析
func AddMoviesFromText() error {

    in := `
- first our headers
movie title;director;year released

- then some data
Guardians of the Galaxy Vol. 2;James Gunn;2017
Star Wars: Episode VIII;Rian Johnson;2017
`

    b := bytes.NewBufferString(in)
    m, err := ReadCSV(b)
    if err != nil {
        return err
    }
    fmt.Printf("%#v\n", m)
    return nil
}

2.建立 write_csv.go：

package csvformat

import (
    "bytes"
    "encoding/csv"
    "io"
    "os"
)

// 结构体Book有Author和Title两个字段
type Book struct {
    Author string
    Title  string
}

// Books是Book的切片类型
type Books []Book

// ToCSV将Books写入传进来的 io.Writer
// 返回任何可能发生的错误
func (books *Books) ToCSV(w io.Writer) error {
    n := csv.NewWriter(w)
    err := n.Write([]string{"Author", "Title"})
    if err != nil {
        return err
    }
    for _, book := range *books {
        err := n.Write([]string{book.Author, book.Title})
        if err != nil {
            return err
        }
    }

    n.Flush()
    return n.Error()
}

// WriteCSVOutput 初始化Books并调用ToCSV
// 并写入到标准输出
func WriteCSVOutput() error {
    b := Books{
        Book{
            Author: "F Scott Fitzgerald",
            Title:  "The Great Gatsby",
        },
        Book{
            Author: "J D Salinger",
            Title:  "The Catcher in the Rye",
        },
    }

    return b.ToCSV(os.Stdout)
}

// WriteCSVBuffer 初始化Books并调用ToCSV
// 并写入到bytes.Buffers
func WriteCSVBuffer() (*bytes.Buffer, error) {
    b := Books{
        Book{
            Author: "F Scott Fitzgerald",
            Title:  "The Great Gatsby",
        },
        Book{
            Author: "J D Salinger",
            Title:  "The Catcher in the Rye",
        },
    }

    w := &bytes.Buffer{}
    err := b.ToCSV(w)
    return w, err
}

3.建立main.go：

import (
    "fmt"

    "github.com/agtorre/go-cookbook/chapter1/csvformat"
)

func main() {
    if err := csvformat.AddMoviesFromText(); err != nil {
        panic(err)
    }

    if err := csvformat.WriteCSVOutput(); err != nil {
        panic(err)
    }

    buffer, err := csvformat.WriteCSVBuffer()
    if err != nil {
        panic(err)
    }

    fmt.Println("Buffer = ", buffer.String())
}

4.运行main.go，这会输出：

[]csvformat.Movie{csvformat.Movie{Title:"Guardians of the Galaxy Vol. 2", Director:"James Gunn", Year:2017}, csvformat.Movie{Title:"Star Wars: Episode VIII", Director:"Rian Johnson", Year:2017}}
Author,Title
F Scott Fitzgerald,The Great Gatsby
J D Salinger,The Catcher in the Rye
Buffer =  Author,Title
F Scott Fitzgerald,The Great Gatsby
J D Salinger,The Catcher in the Rye

说明

为了探索CSV格式操作，我们首先将数据表示为结构。在Go中将数据格式化为结构非常有用，这会使目标封装和编码等变得相对简单。 我们的示例中使用自定义的Movie结构。它所属的函数接收io.Reader接口作为参数以使CSV数据输入时更加灵活——文件或缓冲区都可以输入进来。接下来，我们使用传入的数据来创建并填充Movie结构，我们还向CSV解析器添加了 ; 作为分隔符 - 作为注释行。

接下来，我们以类似的方式探索CSV格式的写入操作，我们初始化一系列Books，然后将CSV格式的特定book写入io.Writer接口，同样的，目标可以是文件，标准输出或缓冲区。

CSV包是一个很棒的例子，它说明了为什么你需要考虑要将Go中的数据流视为实现通用接口。通过细微的调整，我们可以轻松更改数据的来源和目的地，同时不影响操作CSV数据，并且无需使用过多的内存或时间。例如，可以一次从一个数据流中读取一个记录，并以循环的形式将修改的格式写入单独的流。这样做不会占用大量内存或处理器。

稍后，在探索数据管道和工作池时，你将看到如何组合这些想法以及如何并行处理这些流。