为什么 Cassandra 不从 CSV 文件加载所有值？

Question

我刚刚开始使用 Cassandra（单节点设置，2.0.9 版本）。我试图将数据从 CSV 文件加载到 COLUMNFAMILY，但注意到它实际上只加载了 239595 行中的 2 行。我不明白为什么。我将不胜感激任何提示。

cqlsh 控制台输出：

从 CSV 加载数据

cqlsh:keyspace_test1> COPY invoices (date, product_id, customer_id, quantity, sales) FROM '/home/martakarass/Desktop/invoices.csv';
239595 rows imported in 1 minute and 52.766 seconds.

注意 SELECT 只显示 2 行

cqlsh:keyspace_test1> SELECT * FROM invoices limit 10; 

 date     | customer_id | product_id    | quantity | sales
----------+-------------+---------------+----------+--------
 2/1/2015 |  Client_100 | Product_15702 |        6 | 123.42
 1/9/2015 |  Client_998 | Product_43550 |     3000 | 15.368

(2 rows)

检查并非所有行都已加载的计数

cqlsh:keyspace_test1> SELECT count(*) FROM invoices; 

 count
-------
     2

(1 rows)

cqlsh:keyspace_test1>

（已更新）table 详情：

cqlsh:keyspace_test1> DESCRIBE COLUMNFAMILY keyspace_test1.invoices; 

CREATE TABLE invoices (
  date text,
  customer_id text,
  product_id text,
  quantity int,
  sales float,
  PRIMARY KEY ((date))
) WITH
  bloom_filter_fp_chance=0.010000 AND
  caching='KEYS_ONLY' AND
  comment='' AND
  dclocal_read_repair_chance=0.100000 AND
  gc_grace_seconds=864000 AND
  index_interval=128 AND
  read_repair_chance=0.000000 AND
  replicate_on_write='true' AND
  populate_io_cache_on_flush='false' AND
  default_time_to_live=0 AND
  speculative_retry='99.0PERCENTILE' AND
  memtable_flush_period_in_ms=0 AND
  compaction={'class': 'SizeTieredCompactionStrategy'} AND
  compression={'sstable_compression': 'LZ4Compressor'};

Answer 1

我将大胆猜测您的 invoices.csv 文件中的日期不是唯一的。当我创建一个类似的 table:

CREATE TABLE Whosebug.invoices (
    date timestamp PRIMARY KEY,
    amount bigint,
    id bigint
)

我使用的 CSV 文件有 4 行，如下所示：

date|id|amount
2015-03-30 00:00:00-0500|1|4500
2015-03-31 00:00:00-0500|2|5500
2015-03-31 00:00:00-0500|3|6600
2015-03-31 00:00:00-0500|4|7500

接下来，我用 COPY FROM:

导入它们

aploetz@cqlsh:Whosebug> COPY invoices (date, id, amount) FROM 
    '/home/aploetz/invoices.csv' WITH DELIMITER='|' AND HEADER=true;

4 rows imported in 0.035 seconds.

我应该有 4 行，对吧？错了。

aploetz@cqlsh:Whosebug> SELECT * FROm invoices;

 date                     | amount | id
--------------------------+--------+----
 2015-03-30 00:00:00-0500 |   4500 |  1
 2015-03-31 00:00:00-0500 |   7500 |  4

(2 rows)

Cassandra 主键是唯一的。因此，如果您要从一个文件中导入 239595 行，但实际上只有两个唯一日期，那么您将只有 2 行。

Answer 2

这是一个未解决的错误cqlssh bug

您可以通过这样做来解决您的问题：拳头去你的根目录你会得到 .cassandra 文件夹进入这个文件夹你会得到

cqlshrc

添加这两行

[csv]
field_size_limit=1000000000

然后关闭你的 file.restart cassandra，你的问题就解决了。

为什么 Cassandra 不从 CSV 文件加载所有值？

Why Cassandra does not load all values from CSV file?

cassandra

cqlsh

cassandra-2.0