我想创建一个脚本来使用Redshift自动化某些进程.具体来说,我想找到一个带有SELECT的表的属性,然后在INSERT中使用它.我的脚本看起来像这样:
psql -h ... -c "SELECT id_process FROM process WHERE de_process = 'EMR'"
psql -h ... -c "INSERT INTO execution (id_process) values (X);"
在第一句中,我得到一个唯一的值,我正在寻找的ID,格式如下:
id_proceso
------------
2
(1 row)
然后我想用它作为插入第二句的值,替换"X,但我不知道如何保存到变量然后重用第一句的输出.
有什么建议吗？
PD在另一个问题中它显示了如何在一个独特的句子中做到这一点,但我需要保存值以供将来使用.
我正在使用Spark SQL解析JSON并且它工作得非常好,它找到了架构并且我正在使用它进行查询.
现在我需要"平放"JSON,我已经在论坛中读到最好的方法是使用Hive(Lateral View)进行爆炸,所以我试着用它来做同样的事情.但我甚至无法创建上下文... Spark给我一个错误,我找不到如何解决它.
正如我所说,此时我只想创建de context:
println ("Create Spark Context:")
val sc = new SparkContext( "local", "Simple", "$SPARK_HOME")
println ("Create Hive context:")
val hiveContext = new HiveContext(sc)
它给了我这个错误:
Create Spark Context:
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
15/12/26 15:13:44 INFO Remoting: Starting remoting
15/12/26 15:13:45 INFO Remoting: Remoting started; listening on addresses :[akka.tcp://sparkDriver@192.168.80.136:40624]
Create Hive context:
15/12/26 15:13:50 INFO Persistence: Property hive.metastore.integral.jdo.pushdown unknown - will be ignored
15/12/26 15:13:50 INFO Persistence: Property datanucleus.cache.level2 unknown - will be ignored
15/12/26 …