Cassandra中的FSReadError

我已经将大量数据插入到2个节点的cassandra服务器中。两天后，我发现服务器出现了这个错误，我猜不出问题出在哪里

FSReadError in /var/lib/cassandra/data/system/hints/system-hints-jb-1090-Data.db
        at org.apache.cassandra.io.compress.CompressedRandomAccessReader.reBuffer(CompressedRandomAccessReader.java:95)
        at org.apache.cassandra.io.util.RandomAccessReader.seek(RandomAccessReader.java:280)
        at org.apache.cassandra.io.util.PoolingSegmentedFile.getSegment(PoolingSegmentedFile.java:41)
        at org.apache.cassandra.io.sstable.SSTableReader.getFileDataInput(SSTableReader.java:1163)
        at org.apache.cassandra.db.columniterator.IndexedSliceReader$IndexedBlockFetcher.getNextBlock(IndexedSliceReader.java:362)
        at org.apache.cassandra.db.columniterator.IndexedSliceReader$IndexedBlockFetcher.fetchMoreData(IndexedSliceReader.java:332)
        at org.apache.cassandra.db.columniterator.IndexedSliceReader.computeNext(IndexedSliceReader.java:145)
        at org.apache.cassandra.db.columniterator.IndexedSliceReader.computeNext(IndexedSliceReader.java:45)
        at com.google.common.collect.AbstractIterator.tryToComputeNext(AbstractIterator.java:143)
        at com.google.common.collect.AbstractIterator.hasNext(AbstractIterator.java:138)
        at org.apache.cassandra.db.columniterator.SSTableSliceIterator.hasNext(SSTableSliceIterator.java:82)
        at org.apache.cassandra.db.filter.QueryFilter$2.getNext(QueryFilter.java:157)
        at org.apache.cassandra.db.filter.QueryFilter$2.hasNext(QueryFilter.java:140)
        at org.apache.cassandra.utils.MergeIterator$Candidate.advance(MergeIterator.java:144)
        at org.apache.cassandra.utils.MergeIterator$ManyToOne.<init>(MergeIterator.java:87)
        at org.apache.cassandra.utils.MergeIterator.get(MergeIterator.java:46)
        at org.apache.cassandra.db.filter.QueryFilter.collateColumns(QueryFilter.java:120)
        at org.apache.cassandra.db.filter.QueryFilter.collateOnDiskAtom(QueryFilter.java:80)
        at org.apache.cassandra.db.filter.QueryFilter.collateOnDiskAtom(QueryFilter.java:72)
        at org.apache.cassandra.db.CollationController.collectAllData(CollationController.java:294)
        at org.apache.cassandra.db.CollationController.getTopLevelColumns(CollationController.java:53)
        at org.apache.cassandra.db.ColumnFamilyStore.getTopLevelColumns(ColumnFamilyStore.java:1468)
        at org.apache.cassandra.db.ColumnFamilyStore.getColumnFamily(ColumnFamilyStore.java:1294)
        at org.apache.cassandra.db.HintedHandOffManager.doDeliverHintsToEndpoint(HintedHandOffManager.java:346)
        at org.apache.cassandra.db.HintedHandOffManager.deliverHintsToEndpoint(HintedHandOffManager.java:304)
        at org.apache.cassandra.db.HintedHandOffManager.access$300(HintedHandOffManager.java:92)
        at org.apache.cassandra.db.HintedHandOffManager$4.run(HintedHandOffManager.java:525)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(Unknown Source)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source)
        at java.lang.Thread.run(Unknown Source)
Caused by: java.nio.channels.ClosedChannelException
        at sun.nio.ch.FileChannelImpl.ensureOpen(Unknown Source)
        at sun.nio.ch.FileChannelImpl.position(Unknown Source)
        at org.apache.cassandra.io.compress.CompressedRandomAccessReader.decompressChunk(CompressedRandomAccessReader.java:101)
        at org.apache.cassandra.io.compress.CompressedRandomAccessReader.reBuffer(CompressedRandomAccessReader.java:87)
        ... 29 more

/var/lib/cassandra/data/system/hints/system-hints-jb-1090-data.db中的FSReadError 位于org.apache.cassandra.io.compress.CompressedRandomAccessReader.reBuffer（CompressedRandomAccessReader.java:95） 位于org.apache.cassandra.io.util.RandomAccessReader.seek（RandomAccessReader.java:280） 位于org.apache.cassandra.io.util.PooligSegmentedFile.getSegment（PooligSegmentedFile.java:41） 位于org.apache.cassandra.io.sstable.SSTableReader.getFileDataInput（SSTableReader.java:1163） 位于org.apache.cassandra.db.columniterator.IndexedSliceReader$IndexedBlockFetcher.getNextBlock（IndexedSliceReader.java:362） 位于org.apache.cassandra.db.columniterator.IndexedSliceReader$IndexedBlockFetcher.fetchMoreData（IndexedSliceReader.java:332） 位于org.apache.cassandra.db.columniterator.IndexedSliceReader.computeNext（IndexedSliceReader.java:145） 位于org.apache.cassandra.db.columniterator.IndexedSliceReader.computeNext（IndexedSliceReader.java:45） 位于com.google.common.collect.AbstractIterator.tryToComputeNext（AbstractIterator.java:143） 位于com.google.common.collect.AbstractIterator.hasNext（AbstractIterator.java:138） 位于org.apache.cassandra.db.columniterator.SSTableSliceIterator.hasNext（SSTableSliceIterator.java:82） 位于org.apache.cassandra.db.filter.QueryFilter$2.getNext（QueryFilter.java:157） 位于org.apache.cassandra.db.filter.QueryFilter$2.hasNext（QueryFilter.java:140） 位于org.apache.cassandra.utils.MergeIterator$Candidate.advance（MergeIterator.java:144） 位于org.apache.cassandra.utils.MergeIterator$ManyToOne。（MergeIterator.java:87） 位于org.apache.cassandra.utils.MergeIterator.get（MergeIterator.java:46） 位于org.apache.cassandra.db.filter.QueryFilter.collater列（QueryFilter.java:120） 位于org.apache.cassandra.db.filter.QueryFilter.collatendiskatom（QueryFilter.java:80） 位于org.apache.cassandra.db.filter.QueryFilter.collatendiskatom（QueryFilter.java:72） 位于org.apache.cassandra.db.CollationController.collectAllData（CollationController.java:294） 位于org.apache.cassandra.db.CollationController.getTopLevelColumns（CollationController.java:53） 位于org.apache.cassandra.db.ColumnFamilyStore.getToLevel Columns（ColumnFamilyStore.java:1468） 位于org.apache.cassandra.db.ColumnFamilyStore.getColumnFamily（ColumnFamilyStore.java:1294） 位于org.apache.cassandra.db.HintedHandOffManager.doDeliverHintsToEndpoint（HintedHandOffManager.java:346） 位于org.apache.cassandra.db.HintedHandOffManager.deliverHintsToEndpoint（HintedHandOffManager.java:304） 位于org.apache.cassandra.db.HintedHandOffManager.access$300（HintedHandOffManager.java:92） 位于org.apache.cassandra.db.HintedHandOffManager$4.run（HintedHandOffManager.java:525） 位于java.util.concurrent.ThreadPoolExecutor.runWorker（未知源） 位于java.util.concurrent.ThreadPoolExecutor$Worker.run（未知源） 位于java.lang.Thread.run（未知源） 原因：java.nio.channels.ClosedChannelException 在sun.nio.ch.FileChannelImpl.ensureOpen（未知源） 位于sun.nio.ch.FileChannelImpl.position（未知源） 位于org.apache.cassandra.io.compress.CompressedRandomAccessReader.decompressChunk（CompressedRandomAccessReader.java:101） 位于org.apache.cassandra.io.compress.CompressedRandomAccessReader.reBuffer（CompressedRandomAccessReader.java:87） ... 还有29个

---

谢谢你告诉我我的预感：你的磁盘坏了，或者你的磁盘空间用完了。您可以在节点上运行一些磁盘检查工具来确认吗？

我已经检查过了，没有发现任何错误。我认为这一定是一个随机问题。这不是卡桑德拉的问题，而是硬件或系统的问题，谢谢！