服务器崩溃后如何从 java.io.EOFException 恢复 Zookeeper？
How to recover Zookeeper from java.io.EOFException after a server crash?
如何从服务器崩溃后开始出现的以下错误中恢复？
Zookeeper 无法启动，日志中重复显示以下消息。
2017-05-27 01:02:08,072 [myid:] - INFO [main:Environment@100] - Server environment:java.library.path=/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib
2017-05-27 01:02:08,072 [myid:] - INFO [main:Environment@100] - Server environment:java.io.tmpdir=/tmp
2017-05-27 01:02:08,072 [myid:] - INFO [main:Environment@100] - Server environment:java.compiler=<NA>
2017-05-27 01:02:08,072 [myid:] - INFO [main:Environment@100] - Server environment:os.name=Linux
2017-05-27 01:02:08,072 [myid:] - INFO [main:Environment@100] - Server environment:os.arch=amd64
2017-05-27 01:02:08,073 [myid:] - INFO [main:Environment@100] - Server environment:os.version=3.10.0-514.16.1.el7.x86_64
2017-05-27 01:02:08,073 [myid:] - INFO [main:Environment@100] - Server environment:user.name=zookeeper
2017-05-27 01:02:08,073 [myid:] - INFO [main:Environment@100] - Server environment:user.home=/opt/zookeeper
2017-05-27 01:02:08,073 [myid:] - INFO [main:Environment@100] - Server environment:user.dir=/
2017-05-27 01:02:08,074 [myid:] - INFO [main:ZooKeeperServer@829] - tickTime set to 2000
2017-05-27 01:02:08,074 [myid:] - INFO [main:ZooKeeperServer@838] - minSessionTimeout set to -1
2017-05-27 01:02:08,074 [myid:] - INFO [main:ZooKeeperServer@847] - maxSessionTimeout set to -1
2017-05-27 01:02:08,080 [myid:] - INFO [main:NIOServerCnxnFactory@89] - binding to port 0.0.0.0/0.0.0.0:2181
2017-05-27 01:02:08,385 [myid:] - ERROR [main:Util@239] - Last transaction was partial.
2017-05-27 01:02:08,400 [myid:] - ERROR [main:Util@239] - Last transaction was partial.
2017-05-27 01:02:08,403 [myid:] - ERROR [main:Util@239] - Last transaction was partial.
2017-05-27 01:02:08,403 [myid:] - ERROR [main:Util@239] - Last transaction was partial.
2017-05-27 01:02:08,404 [myid:] - ERROR [main:Util@239] - Last transaction was partial.
2017-05-27 01:02:08,404 [myid:] - ERROR [main:ZooKeeperServerMain@64] - Unexpected exception, exiting abnormally
java.io.EOFException
at java.io.DataInputStream.readInt(DataInputStream.java:392)
at org.apache.jute.BinaryInputArchive.readInt(BinaryInputArchive.java:63)
at org.apache.zookeeper.server.persistence.FileHeader.deserialize(FileHeader.java:64)
at org.apache.zookeeper.server.persistence.FileTxnLog$FileTxnIterator.inStreamCreated(FileTxnLog.java:585)
at org.apache.zookeeper.server.persistence.FileTxnLog$FileTxnIterator.createInputArchive(FileTxnLog.java:604)
at org.apache.zookeeper.server.persistence.FileTxnLog$FileTxnIterator.goToNextLog(FileTxnLog.java:570)
at org.apache.zookeeper.server.persistence.FileTxnLog$FileTxnIterator.next(FileTxnLog.java:652)
at org.apache.zookeeper.server.persistence.FileTxnSnapLog.restore(FileTxnSnapLog.java:166)
at org.apache.zookeeper.server.ZKDatabase.loadDataBase(ZKDatabase.java:223)
at org.apache.zookeeper.server.ZooKeeperServer.loadData(ZooKeeperServer.java:283)
at org.apache.zookeeper.server.ZooKeeperServer.startdata(ZooKeeperServer.java:410)
at org.apache.zookeeper.server.NIOServerCnxnFactory.startup(NIOServerCnxnFactory.java:118)
at org.apache.zookeeper.server.ZooKeeperServerMain.runFromConfig(ZooKeeperServerMain.java:119)
at org.apache.zookeeper.server.ZooKeeperServerMain.initializeAndRun(ZooKeeperServerMain.java:87)
at org.apache.zookeeper.server.ZooKeeperServerMain.main(ZooKeeperServerMain.java:53)
at org.apache.zookeeper.server.quorum.QuorumPeerMain.initializeAndRun(QuorumPeerMain.java:116)
at org.apache.zookeeper.server.quorum.QuorumPeerMain.main(QuorumPeerMain.java:78)
谢谢
IPVP
您似乎遇到了一个已知的 Apache ZooKeeper 错误。有几个不同的 Apache JIRA 问题与此相关：ZOOKEEPER-1621 and ZOOKEEPER-2332。如果您对根本原因分析和一些潜在的修复建议感兴趣，请参阅这些问题中的评论。
遗憾的是，目前没有包含该错误修复程序的 Apache ZooKeeper 版本。您可以尝试一些潜在的解决方法：
- 创建您自己的 ZooKeeper 本地版本，其中一个补丁附加到已应用的链接 JIRA 问题。请注意，这些补丁尚未被 ZooKeeper 社区接受，因此使用风险自负。
- 删除有问题的日志文件。问题的根本原因是 ZooKeeper 之前 运行 的日志文件写入了不完整的 header。由于 header 位于文件的开头，而 header 本身不完整，我们可以假设在该点之后日志文件中没有交易数据。因此，删除应该是安全的，不会造成任何数据丢失。
- 如果更简单，您可以考虑重新格式化此 ZooKeeper 集群。如果您的 ZooKeeper 安装中的所有数据都是短暂的并且不需要 long-term 持久性，这可能是一个合适的解决方案。
我的解决方案是在 /hadoop/zookeeper/version-2（或您的 dataDir 所在的任何位置）中找到长度为 0 的日志文件并将其删除。
之后启动 ZooKeeper。
我的解决方案是找到 last 日志文件（长度为 0 字节）
您会在 version-2 目录中找到它
ls -l -r --sort=time
-rw-r--r-- 1 chris chris 67108880 Jan 24 10:37 log.23c6a70
-rw-r--r-- 1 chris chris 0 Jan 24 10:37 log.23d3fb4
我首先尝试删除快照和最后 2 个日志文件，它们也可以正常工作，但是您将拥有 "a bit" 更旧的版本。
-rw-r--r-- 1 chris chris 3685904 Jan 24 00:56 snapshot.23c6a6e
也许您必须将最后一个快照文件和最后一个日志文件以及长度为 0 的日志文件一起删除才能安全。
顺便说一句。日志文件和快照具有相同的十六进制模式，必须匹配
log.23c6a70
快照。23c6a6e
它们必须匹配并保持一致，您应该解决这个问题。
如何从服务器崩溃后开始出现的以下错误中恢复？ Zookeeper 无法启动，日志中重复显示以下消息。
2017-05-27 01:02:08,072 [myid:] - INFO [main:Environment@100] - Server environment:java.library.path=/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib
2017-05-27 01:02:08,072 [myid:] - INFO [main:Environment@100] - Server environment:java.io.tmpdir=/tmp
2017-05-27 01:02:08,072 [myid:] - INFO [main:Environment@100] - Server environment:java.compiler=<NA>
2017-05-27 01:02:08,072 [myid:] - INFO [main:Environment@100] - Server environment:os.name=Linux
2017-05-27 01:02:08,072 [myid:] - INFO [main:Environment@100] - Server environment:os.arch=amd64
2017-05-27 01:02:08,073 [myid:] - INFO [main:Environment@100] - Server environment:os.version=3.10.0-514.16.1.el7.x86_64
2017-05-27 01:02:08,073 [myid:] - INFO [main:Environment@100] - Server environment:user.name=zookeeper
2017-05-27 01:02:08,073 [myid:] - INFO [main:Environment@100] - Server environment:user.home=/opt/zookeeper
2017-05-27 01:02:08,073 [myid:] - INFO [main:Environment@100] - Server environment:user.dir=/
2017-05-27 01:02:08,074 [myid:] - INFO [main:ZooKeeperServer@829] - tickTime set to 2000
2017-05-27 01:02:08,074 [myid:] - INFO [main:ZooKeeperServer@838] - minSessionTimeout set to -1
2017-05-27 01:02:08,074 [myid:] - INFO [main:ZooKeeperServer@847] - maxSessionTimeout set to -1
2017-05-27 01:02:08,080 [myid:] - INFO [main:NIOServerCnxnFactory@89] - binding to port 0.0.0.0/0.0.0.0:2181
2017-05-27 01:02:08,385 [myid:] - ERROR [main:Util@239] - Last transaction was partial.
2017-05-27 01:02:08,400 [myid:] - ERROR [main:Util@239] - Last transaction was partial.
2017-05-27 01:02:08,403 [myid:] - ERROR [main:Util@239] - Last transaction was partial.
2017-05-27 01:02:08,403 [myid:] - ERROR [main:Util@239] - Last transaction was partial.
2017-05-27 01:02:08,404 [myid:] - ERROR [main:Util@239] - Last transaction was partial.
2017-05-27 01:02:08,404 [myid:] - ERROR [main:ZooKeeperServerMain@64] - Unexpected exception, exiting abnormally
java.io.EOFException
at java.io.DataInputStream.readInt(DataInputStream.java:392)
at org.apache.jute.BinaryInputArchive.readInt(BinaryInputArchive.java:63)
at org.apache.zookeeper.server.persistence.FileHeader.deserialize(FileHeader.java:64)
at org.apache.zookeeper.server.persistence.FileTxnLog$FileTxnIterator.inStreamCreated(FileTxnLog.java:585)
at org.apache.zookeeper.server.persistence.FileTxnLog$FileTxnIterator.createInputArchive(FileTxnLog.java:604)
at org.apache.zookeeper.server.persistence.FileTxnLog$FileTxnIterator.goToNextLog(FileTxnLog.java:570)
at org.apache.zookeeper.server.persistence.FileTxnLog$FileTxnIterator.next(FileTxnLog.java:652)
at org.apache.zookeeper.server.persistence.FileTxnSnapLog.restore(FileTxnSnapLog.java:166)
at org.apache.zookeeper.server.ZKDatabase.loadDataBase(ZKDatabase.java:223)
at org.apache.zookeeper.server.ZooKeeperServer.loadData(ZooKeeperServer.java:283)
at org.apache.zookeeper.server.ZooKeeperServer.startdata(ZooKeeperServer.java:410)
at org.apache.zookeeper.server.NIOServerCnxnFactory.startup(NIOServerCnxnFactory.java:118)
at org.apache.zookeeper.server.ZooKeeperServerMain.runFromConfig(ZooKeeperServerMain.java:119)
at org.apache.zookeeper.server.ZooKeeperServerMain.initializeAndRun(ZooKeeperServerMain.java:87)
at org.apache.zookeeper.server.ZooKeeperServerMain.main(ZooKeeperServerMain.java:53)
at org.apache.zookeeper.server.quorum.QuorumPeerMain.initializeAndRun(QuorumPeerMain.java:116)
at org.apache.zookeeper.server.quorum.QuorumPeerMain.main(QuorumPeerMain.java:78)
谢谢 IPVP
您似乎遇到了一个已知的 Apache ZooKeeper 错误。有几个不同的 Apache JIRA 问题与此相关：ZOOKEEPER-1621 and ZOOKEEPER-2332。如果您对根本原因分析和一些潜在的修复建议感兴趣，请参阅这些问题中的评论。
遗憾的是，目前没有包含该错误修复程序的 Apache ZooKeeper 版本。您可以尝试一些潜在的解决方法：
- 创建您自己的 ZooKeeper 本地版本，其中一个补丁附加到已应用的链接 JIRA 问题。请注意，这些补丁尚未被 ZooKeeper 社区接受，因此使用风险自负。
- 删除有问题的日志文件。问题的根本原因是 ZooKeeper 之前 运行 的日志文件写入了不完整的 header。由于 header 位于文件的开头，而 header 本身不完整，我们可以假设在该点之后日志文件中没有交易数据。因此，删除应该是安全的，不会造成任何数据丢失。
- 如果更简单，您可以考虑重新格式化此 ZooKeeper 集群。如果您的 ZooKeeper 安装中的所有数据都是短暂的并且不需要 long-term 持久性，这可能是一个合适的解决方案。
我的解决方案是在 /hadoop/zookeeper/version-2（或您的 dataDir 所在的任何位置）中找到长度为 0 的日志文件并将其删除。 之后启动 ZooKeeper。
我的解决方案是找到 last 日志文件（长度为 0 字节）
您会在 version-2 目录中找到它
ls -l -r --sort=time
-rw-r--r-- 1 chris chris 67108880 Jan 24 10:37 log.23c6a70
-rw-r--r-- 1 chris chris 0 Jan 24 10:37 log.23d3fb4
我首先尝试删除快照和最后 2 个日志文件，它们也可以正常工作，但是您将拥有 "a bit" 更旧的版本。
-rw-r--r-- 1 chris chris 3685904 Jan 24 00:56 snapshot.23c6a6e
也许您必须将最后一个快照文件和最后一个日志文件以及长度为 0 的日志文件一起删除才能安全。
顺便说一句。日志文件和快照具有相同的十六进制模式，必须匹配
log.23c6a70
快照。23c6a6e
它们必须匹配并保持一致，您应该解决这个问题。