小编For*_*sed的帖子

我能做到git remote add origin x@x:~/blah并且git push会工作.但是,如果我创建一个本地副本git clone ~/blah的/ var里面,然后git remote add local /var/blah里面~/blah,当我尝试git push它不推的更新.

如何对本地副本进行git推送更新？

我有一个共享库,我在一堆项目中使用.我git clone在其他文件夹中使用以获取库的本地副本.当我更新主库时,我必须转到每个本地副本并输入git pull以获取更新？如何git push将代码推送到所有库？

据我所知,hdfs会将文件拆分成类似64mb的块.我们有数据流入,我们可以将它们存储到大文件或中等大小的文件中.柱状文件存储的最佳大小是多少？如果我可以将文件存储到最小列为64mb的位置,那么它是否可以节省任何计算时间而不是1gb文件？

只是一个http获取请求,如php中的file_get_contents,或者是一些简单的输入URL的内容,它将内容变为变量.

这个:

SELECT AVG(LENGTH(string)) 
  FROM BLAH 
 LIMIT 10;

...似乎在研究所有结果.如果我取消AVG,它会更快.是否最好创建一个子查询

SELECT AVG(len) 
  FROM (SELECT LENGTH(string) as len 
          FROM BLAH 
         LIMIT 10) as herp

这似乎也很慢.我不想通过strlen将它全部加载到php循环中.我希望有一个内存有效的解决方案.

尝试使用CSEK加载GCS文件时,我收到数据流错误

[ERROR] The target object is encrypted by a customer-supplied encryption key

我打算尝试在数据流方面进行AES解密,但我发现如果没有传递加密密钥,我甚至无法获取该文件.

是否有另一种方法可以从数据流中加载CSEK加密的Google云端存储文件？例如,使用谷歌云存储API,获取流句柄然后将其传递给数据流？

    // Fails
    p.apply("Read from source", TextIO.read().from("gs://my_bucket/myfile")).apply(..); 

看起来这会出错

df.write()
  .option("mode", "DROPMALFORMED")
  .option("compression", "snappy")
  .mode("overwrite")
  .bucketBy(32,"column")
  .sortBy("column")
  .parquet("s3://....");

有错误

Exception in thread "main" org.apache.spark.sql.AnalysisException: 'save' does not support bucketing right now; at org.apache.spark.sql.DataFrameWriter.assertNotBucketed(DataFrameWriter.scala:314)

我看到saveAsTable("myfile")仍然支持,但它只在本地写入.saveAsTable(...)工作完成后,我如何获取该输出并将其放在s3上？

从spark启用orc索引的选项是什么？

          df
            .write()
            .option("mode", "DROPMALFORMED")
            .option("compression", "snappy")
            .mode("overwrite")
            .format("orc")
            .option("index", "user_id")
            .save(...);

我正在编写.option("index", uid),我还要把它放在那里从orc索引列"user_id".

使用图形数据库时,最难解决的问题是选择粒度级别.让我们说我有一个图表显示在一周中的某些日子发生的事情:垃圾日,周五墨西哥比克,周五BYOB等.

• 我可以让每一天都成为一个节点(周一,周二,周三,......),这样,查询特定的日子很快.
• 我可以创建一个名为Day的节点,并使用星期几添加属性名称.这样,显示图表中的所有日子都很容易查询.

对自己思考,使节点非常具体是不好的,因为粒度没有限制.例如,星期六早上,晚上和晚上,或者更糟糕的是,每天每小时一个新节点.我还可以通过将星期六节点通过"晚上"边缘链接到垃圾日节点来使边缘成为粒度的一个组成部分.

我偶尔遇到类似的问题,例如; 我应该根据一个人的全名创建一个新节点,还是一个名为"Person"的节点,其属性为"name".然后我根据便利性制作特定或一般的节点,但我觉得可能有一些最佳实践或更高级别的原则我缺少.我不清楚如何判断哪条路更好.

我们有“删除我的所有数据”功能。我想从许多网络日志文件中删除一组 IP。

目前在运行时，我打开一个包含要删除的 IP 地址的 CSV，将其转换为一个集合，扫描文件，并在日志 IP 匹配时执行删除逻辑。

有什么方法可以加载 CSV 并在编译时将其转换为一组？我们正在尝试将内容迁移到 AWS lambda，并且只部署一个没有依赖项的静态二进制文件非常棒。

我有一个像这样的键值对的数据集

likes=dogs;hates=birds;likes=sports;eats=cheese

然后我把它变成了json

{"likes": ["dogs","sports"], "hates": ["birds"], "eats": ["cheese"]}

有没有办法可以保留这个json数据结构而不将其转换为字符串,所以我可以逐行从它派生更多列？我希望它看起来像这样,而不必每次添加列都将字符串中的json解码.

        Dataset<Row> df1 = df.withColumn("interests", callUDF("to_json", col("interests")))
                         .withColumn("likes", callUDF("extract_from_json", "likes", col("interests")))
                         .withColumn("hates", callUDF("extract_from_json", "hates", col("interests")))
                         .withColumn("hates", callUDF("extract_from_json", "eats", col("interests")));