Chapter 10 - Batch Processing
输入“/”快速插入
Chapter 10 - Batch Processing
大型应用系统通常都会组合使用不同的数据存储方式、索引、缓存、分析系统等，并且会使用一些方法在这几个系统之间移动数据。本篇的主要内容就是讲解在大型应用中，整合不同数据系统的方法。
System of Record and Derived Data
•
System of Record: 又被称为The Truth Resource，是一个系统中数据最真实的保障，如果其他衍生存储的数据丢失了，就要从这里恢复。
•
Derived Data: 使用现有数据，根据不同场景构造的数据系统，比如：缓存，Hive 分析系统。
从技术的角度来说，Derived Data是数据的冗余，但是却提供了重要的功能，比如：缓存可以加速查询，Hive表能够加速数据分析。“Derived Data 提供了一种多视角访问数据的入口”。
大多数的数据库产品、存储引擎以及查询语言并不是天然为 System of Record and Derived Data 而设计的。对于研发来说，数据库只是一种工具，它具体能够表现为什么样的形式完全取决于研发如何使用它。
三种常见的系统
•
Service (Online Systems)
服务端被动等待客户端的请求，当客户端请求到达时，服务端尽可能快的给予回复，Latency 和 Availablility 是Service 的重要指标。
•
Batch Processing Systems (Offline Systems)
批处理系统通常是接受一个Job然后在后台运行，计算某种数据。Job通常需要一定的执行时间（几分钟到几天不等）。评估批处理系统的性能主要是吞吐量（单位时间内处理数据的量）。
•
Stream Processing Systems (near-realtime systems)
流处理系统是介于批处理和在线服务的一种系统，流处理系统也是接受输入并且产生输出，而不是接受请求，响应请求。
MapReduce 是谷歌于2004年提出的一种批处理算法，也可以被称为 "Algorithm makes Google Massively Scalable"。
Batch Processing With Unix
给定一个日志文件，使用Unix提供的强大命令从中提取出有效的统计信息：
cat ~/xxx_access.log | awk '{print $7}' | sort | uniq -c | sort -r -n | head -n 5
也可以使用一些高级语言来完成日志统计的功能，比如使用Ruby：
counts = Hash.new(0)
File.open('/var/log/nginx/access.log') do |file|
file.each do |line|
url = line.split[6]
counts[url] += 1
end
end
top5 = counts.map{|url, count| [count, url] }.sort.reverse[0...5]
top5.each{|count, url| puts "#{count} #{url}" }
Ruby脚本在内存中维护了一个Hash表 [URL -> Times]，Unix的管道是构造了一个URL的链表，重复的URL在链表中作为重复元素出现。当数据量比较小的时候，URLs的数量不多，可以在内存中构建Hash表来统计数据；当大规模网站需要统计URLs的时候，单台机器的内存肯定是放不下这么多数据的，这时候就需要将数据存放在磁盘上，通过MergeSort + 多CPU的方式进行统计。
The Unix Philosophy
•
Make each program do one thing well. To do a new job, build afresh rather than complicate old programs by adding new features. // 让一个程序专注于做一件事
•
Expect the output of every program to become input to other programs. Don't clutter output with extraneous information. Avoid stringently columnar or binary input formats. Don't insist on interactive input. // 总是把一个程序的输出作为另一个程序的输入
•
Design and build software, even operating systems, to be tried early, ideally within weeks. Don't hesitate to throw away the clumsy parts and rebuild them. // 设计和实现软件都是成功于短时间内的，应该毫不犹豫的丢弃那些笨拙的设计然后重构它们。许多地方对于这条原则的描述和理解殊途同归，比如: 在 Philosophy of Software Engineer / SWE at Google / Refactoring 中都有对这条原则的阐述。
•
Use tools in preference to unskilled help to lighten a programming task, even if you have to detour building the tools and expect to throw some of them out after you've finished them. // 优先使用工具而不是不熟练的help 来帮助编程，即使完成后需要将tools丢弃 （脚手架）
A uniform interface
如果一个程序的输出能够成为另一个程序的输入，则需要这些程序都能拥有相同的输入输出接口。像Unix中的管道，awk的输出可以作为sort的输入，sort 的输出可以作为 uniq的输入等。在 Unix中，这种相同的接口就是FD （文件描述符 File Descriptor）正因为有了这种简单的接口，因此Unix中任何数据都能使用FD来表示，比如文件系统上的文件，进程间通信的管道 (Socket, Stdin, StdOut)，外接设备，TCP连接等等。
MapReduce and Dsitributed File System
MapReduce 和很多Unix的程序一样，运行它不会对原始的文件产生影响，它的输出是以追加的方式添加到文件末尾的，所以可以执行任意次数。通常，MapReduce都会和 DFS配合使用，MapReduce读写的文件都存放在DFS上。例如：GFS，HDFS，QFS等等。
相比于shared-Disk架构的Storage Area Network 或者 NAS，HDFS 是一种 shared-nothing 的架构。HDFS包含了一个NameNode 类似 GFS中的Master，保存所有block的元信息；为了实现 fault tolerate，每一个Block都会被复制到多个不同的机器上，或者使用 Erasure Coding (一种类似RAID的编码方式) 来实现容错。