在spark-SQL中创建一个"temporary"table，不是spark-scala？

Question

我已经从输入文件加载了 table。

CREATE TABLE MyTable (
    ID INT,
    VALUE FLOAT,
    RATE  INT
...

LOAD DATA LOCAL INPATH 'MYPATH' INTO TABLE MyTable;

现在我想在这个基础上创建一个新的

DerivedTable = 
    SELECT ID, VALUE*RATE AS Total
    FROM MyTable
    WHERE VALUE IS NOT NULL;

然后我将使用此 table 作为其他 table 和输出的来源。

创建此 "temporary" table 的正确 Sql（或 Hive）方法是什么？这应该适用于 spark-sql?

PS：我知道如何在 spark-shell 中做到这一点。但这不是我要找的。

Answer 1

您可以：

CREATE TEMPORARY VIEW DerivedTable AS (
   SELECT ID, VALUE*RATE AS Total
   FROM MyTable
   WHERE VALUE IS NOT NULL);

Create a "temporary" table in spark-SQL, not spark-scala?