小编Gom*_*mpu的帖子

将数据帧的架构保存在 S3 位置

我使用以下命令从 databricks 中的 S3 读取镶木地板文件

df = sqlContext.read.parquet('s3://path/to/parquet/file')
Run Code Online (Sandbox Code Playgroud)

我想读取数据帧的架构,可以使用以下命令来执行此操作:

df_schema = df.schema.json()
Run Code Online (Sandbox Code Playgroud)

但我无法将该df_schama对象写入 S3 上的文件。注意:我愿意不创建 json 文件。我只想将数据帧的架构保存到 AWS S3 中的任何文件类型(可能是文本文件)。

我尝试编写 json 模式如下,

df_schema.write.csv("s3://path/to/file")
Run Code Online (Sandbox Code Playgroud)

或者

a.write.format('json').save('s3://path/to/file')
Run Code Online (Sandbox Code Playgroud)

他们都给我以下错误:

AttributeError: 'str' object has no attribute 'write'

amazon-s3 apache-spark pyspark databricks

5
推荐指数
1
解决办法
7970
查看次数

rcpp 中 %in% 的糖

%in% 有 Rcpp 糖吗?

例如,我在 R 中有以下语句

y <- c('XA','XB','XC','XF','XK','XL','XM','XN','XO','XP','XS','XU','XW','XY', 'DF','DS','AS','XL','FG')
x <- ifelse(y %in% c("XA","XB","XC","XF","XK","XL","XM","XN","XO","XP","XS","XU","XW","XY"),"KCA","KUS")
Run Code Online (Sandbox Code Playgroud)

我正在尝试使用 || 在上面的 Rcpp 中,其中 x 和 y 都被定义为类型

std::vector<std::string> 
Run Code Online (Sandbox Code Playgroud)

代码片段是

int n = y.size();
for (int i = 0; i < n; i++){
 if (y[i] == 'XA' ||
      y[i] == 'XB' ||
      y[i] == 'XC' ||
      y[i] == 'XF' ||
      y[i] == 'XK' ||
      y[i] == 'XL' ||
      y[i] == 'XM' ||
      y[i] == 'XN'||
      y[i] == 'XO'||
      y[i] == 'XP' ||
      y[i] …
Run Code Online (Sandbox Code Playgroud)

r rcpp

3
推荐指数
1
解决办法
258
查看次数

将单个Rcpp :: IntegerVector元素转换为字符

我必须将Rcpp :: IntegerVector的各个元素转换为它们的字符串形式,以便可以向它们添加另一个字符串。我的代码如下所示:

   #include <Rcpp.h>
using namespace Rcpp;

// [[Rcpp::export]]
Rcpp::String int_to_char_single_fun(int x){
  // Obtain environment containing function
  Rcpp::Environment base("package:base");

  // Make function callable from C++
  Rcpp::Function int_to_string = base["as.character"];

  // Call the function and receive its list output
  Rcpp::String res = int_to_string(Rcpp::_["x"] = x); // example of original param

  // Return test object in list structure
  return (res);
}

//[[Rcpp::export]]
Rcpp::CharacterVector add_chars_to_int(Rcpp::IntegerVector x){
  int n = x.size();
  Rcpp::CharacterVector BASEL_SEG(n);
  for(int i = 0; i < n; i++){
  BASEL_SEG[i] = …
Run Code Online (Sandbox Code Playgroud)

r rcpp

1
推荐指数
2
解决办法
380
查看次数

下载在 R Shiny 中的 renderTable 输出中独立生成的表

我正在尝试使用 R Shiny 中的 renderTable 函数生成一个表,然后使用 downloadHandler 函数将该表/data.frame 下载为 csv 文件。不知怎的,我不断收到以下错误:

下载期间发生错误:下载http://127:0:0.1:3001/session/ 0303bd426fce88837ae277aa3b406dd/download/downloadData?w=时出错 - 服务器回复:内部服务器错误

下面是一个示例代码,我在其中生成一个简单的数据帧并尝试使用 downloadHander 下载它:

library(shiny)
 # Define UI for data download app ----
ui <- fluidPage(

    # App title ----
    titlePanel("Downloading Data"),

    # Sidebar layout with input and output definitions ----
    sidebarLayout(

        # Sidebar panel for inputs ----
        sidebarPanel(
            # Button
            downloadButton("downloadData", "Download")

        ),

        # Main panel for displaying outputs ----
        mainPanel(

            tableOutput("table")

        )

    )
)
# Define server logic to display and download selected …
Run Code Online (Sandbox Code Playgroud)

r shiny

1
推荐指数
1
解决办法
3332
查看次数

标签 统计

r ×3

rcpp ×2

amazon-s3 ×1

apache-spark ×1

databricks ×1

pyspark ×1

shiny ×1