小编sam*_*kgp的帖子

我已经有一个使用 Pig 创建的表。现在我想在每一行（记录）中添加一个随机数，以便为我提供一个包含此添加列的新表。

这可能吗？如何实现？

我有一个逻辑回归 sparkml 管道，其中一个阶段是结合 unigrams、bigrams 和 trigrams。目前，我正在使用矢量汇编器将它们组合起来。矢量汇编器似乎非常昂贵，并且将我的预测时间增加了三倍。有任何想法吗 ？

val unigram = new NGram().setN(1).setInputCol("words").setOutputCol("unigram")
val hashingTFunigram = new HashingTF().setInputCol(unigram.getOutputCol).setOutputCol("tfFeatures").setNumFeatures(5000)

val bigram = new NGram().setN(2).setInputCol("words").setOutputCol("bigram")
val hashingTFbigram = new HashingTF().setInputCol(bigram.getOutputCol).setOutputCol("tfFeaturesbigram").setNumFeatures(5000)

val trigram = new NGram().setN(3).setInputCol("words").setOutputCol("trigram")
val hashingTFtrigram = new HashingTF().setInputCol(trigram.getOutputCol).setOutputCol("tfFeaturestrigram").setNumFeatures(5000)

val assembler = new VectorAssembler()
  .setInputCols(Array("tfFeaturesunigram", "tfFeaturesbigram", "tfFeaturestrigram"))
  .setOutputCol("tfFeatures")

我知道这听起来很容易.我想过使用第一个点(.)作为基准,但是当缩写和简短形式出现时,我变得无助.

例如 -

Sir Winston Leonard Spencer-Churchill,KG,OM,CH,TD,PC,DL,FRS,Hon.RA(1874年11月30日 - 1965年1月24日)是一位英国政治家和政治家,因其在第二次世界大战期间领导英国而闻名.他被广泛认为是战时最伟大的领导人之一,曾两次担任总理.丘吉尔是一位着名的政治家和演说家,也是英国军队的一名军官,历史学家,作家和艺术家.

在这里,第一个点是Hon.,但我希望完整的第一行在第二次世界大战结束.

有可能是人???

可能重复:
管道子进程标准输出到变量

我正在运行python程序:

import os
os.system("ls") # ls command runs on the terminal 

要将输出存储在文件中:

os.system("ls > a.txt")

我需要的是,它将输出存储在一些临时字符串中.那可能吗 ？？