Spark 表中的列约束

Question

我正在从 Apache SPARK 中的 CSV 文件创建一个 table。是否可以创建一个 table 非空约束或主键-外键约束？

Answer 1

无法在 Spark 表上定义约束/DataFrames。虽然 StructFields 可以定义为 nullbale，但此 属性 不会在运行时强制执行。像这样的约束在实践中没有用的原因有很多，但最根本的原因是 Spark SQL 不是数据库。一般来说，它对数据源没有任何控制权，只在读取时验证数据，因此唯一可能的方法是访问失败。