小编Mik*_*laj的帖子

我正在尝试使用存储在S3上的引用CSV文件在Athena中创建外部表.问题是,我的CSV包含应该作为INT读取的列中的缺失值.简单的例子:

CSV:

id,height,age,name
1,,26,"Adam"
2,178,28,"Robert"

创建表定义:

CREATE EXTERNAL TABLE schema.test_null_unquoted (
  id INT,
  height INT,
  age INT,
  name STRING
)
ROW FORMAT 
SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
WITH SERDEPROPERTIES (
'separatorChar' = ",",
'quoteChar' = '"',
'skip.header.line.count' = '1'
)
STORED AS TEXTFILE
LOCATION 's3://mybucket/test_null/unquoted/'

CREATE TABLE语句运行正常,但一旦我尝试查询表,我就得到了HIVE_BAD_DATA: Error parsing field value ''.

我试着让CSV看起来像这样(引用空字符串):

"id","height","age","name"
1,"",26,"Adam"
2,178,28,"Robert"

但它不起作用.

试图指定'serialization.null.format' = ''的SERDEPROPERTIES-不工作.

尝试指定相同的通过TBLPROPERTIES ('serialization.null.format'='')- 仍然没有.

当你指定所有列时,它可以工作,STRING但这不是我需要的.

因此,问题是,是否有任何方法可以使用正确的列规范读取带引号的CSV(引用对于我的真实数据更为复杂,因为我的实际数据要复杂得多)？

我正在使用Python中的Tensorflow培训LSTM网络,并希望切换到tf.contrib.cudnn_rnn.CudnnLSTM以加快培训速度.我做了什么被替换了

cells = tf.nn.rnn_cell.LSTMCell(self.num_hidden) 
initial_state = cells.zero_state(self.batch_size, tf.float32)
rnn_outputs, _ = tf.nn.dynamic_rnn(cells, my_inputs, initial_state = initial_state)

同

lstm = tf.contrib.cudnn_rnn.CudnnLSTM(1, self.num_hidden)
rnn_outputs, _ = lstm(my_inputs)

我正在经历显着的训练加速(超过10倍),但同时我的性能指标也下降了.使用LSTMCell时二元分类的AUC为0.741,使用CudnnLSTM时为0.705.我想知道我是做错了什么,或者这两者之间的实现有何不同,这就是如何在继续使用CudnnLSTM的同时恢复性能的情况.

训练数据集具有15,337个不同长度的序列(最多几百个元素),在每个批次中用零填充为相同的长度.所有代码都相同,包括TF数据集API管道和所有评估指标.我运行了几次每个版本,并且在所有情况下都会收敛这些值.

此外,我有几个数据集可以插入完全相同的模型,并且问题仍然存在于所有这些数据集中.

在cudnn_rnn的tensorflow代码中,我发现了一句话:

Cudnn LSTM和GRU在数学上与它们的tf对应物不同.

但是没有解释这些差异究竟是什么......

我希望能够在通过shinyApp()函数调用运行的应用程序中使用 display.mode = 'showcase' 。根据该文件，我应该能够通过，去任何参数runApp()通过options论证。展示模式有效（窗口被拆分）但不显示代码。有趣的是，如果我运行runExample("01_hello")一切正常。我正在使用闪亮的 1.0.5。

代码：

library(shiny)

ui <- fluidPage(

  titlePanel("Sample App"),

  sidebarLayout(
    sidebarPanel(
      selectInput("data", label = "Data set",
                  choices = c("mtcars", "iris"))
    ),

    mainPanel(
      tableOutput("table")
    )
  )
)

server <- function(input, output) {

  data <- reactive({
    get(input$data, 'package:datasets')
  })

  output$table <- renderTable({
    head(data())
  })

}

shinyApp(ui, server, options = list(display.mode = 'showcase'))

输出：

我有一个复杂的 Shiny 应用程序，需要使用自定义 JavaScript 代码。该应用程序由在具有不同命名空间的多个地方调用的模块组成。我需要一些 JavaScript 代码与 R 代码一起“模块化”，即使用模块命名空间。我能够通过创建一个包含 JS 代码的自定义字符串并使用shinyjs::runjs()函数执行它来使其工作（下面的示例）。对于给定的示例，这是一个公平的解决方案。然而，将更复杂的超过一百行 JavaScript 代码放入一个粘贴有标识符的字符串中似乎很容易出错并且不是最佳解决方案（缺乏突出显示、痛苦的格式等）。有没有更好的方法来达到同样的效果？

library(shiny)
library(shinyJS)

myModuleUI <- function(id) {
    ns <- NS(id)

    tagList(
        div(id = ns("clickableElement"), class = "btn btn-primary", "Click Me"),
        div(id = ns("highlightableElement"), "This (and only this!) text should be highlighted on click")
    )
}

myModule <-  function(input, output, session) {

    ns <- session$ns

    shinyjs::runjs(paste0("
        $('#", ns("clickableElement"), "').click(function() {
            $('#", ns("highlightableElement"), "').css('background', 'yellow');
        })   
    "))
}

ui <- fluidPage(
    useShinyjs(),
    tabsetPanel(
        tabPanel(
            "Instance 1",
            myModuleUI("one")
        ), …

我想知道是否有办法在编织结束时将包含其中一个变量的消息打印到 Rmarkdown 控制台中？

我目前正在准备 R Markdown 模板供其他人使用。一旦完成编译，我想通知用户有关文档的可读性索引。我已经找到了一种在其中一个块中计算它的方法。现在我想自动将它打印给编译它的人，它不会显示在最终文档中。有任何想法吗？

由于我正在尝试实现其他一些javascript,我希望能够在编译的RMarkdown文件中轻松区分和定位图像.使用这种代码块以标准方式生成的图像

```{r}
plot1 <- ggplot(data = mtcars, aes(x = wt, y = mpg, group = am, color = am)) +
    geom_point(size = 3)

plot1
``` 

结果像HTML一样

<img src = "data:image/png..." width = 1000/>

我希望能够自动为每个图像添加唯一标识符,以便每个这样的调用都会产生类似的结果

<img src = "data:image/png..." id = "plot1" width = 1000/>

我可以用JS写这个,但我想知道是否有办法用一些RMarkdown选项来做到这一点.

在R highcharter包生成的直方图的基本示例中,它是:

hchart(diamonds$price)

bin宽度自动设置为200.我尝试了几个数据集,并且bin宽度不同.这让我觉得这是以某种方式自动设置的.如何手动设置？

在 PostgreSQL 中运行 SELECT 语句时，有没有办法在 DBeaver 中查看实际查询执行时间？我只X row(s) fetched - XXms在结果窗口中看到，我对基准测试目的感兴趣的是实际执行时间（不提取）。