小编cur*_*isp的帖子

Spark DataFrame TimestampType - 如何从字段中获取年,月,日值?

我有Spark DataFrame,带有(5)个顶行,如下所示:

[Row(date=datetime.datetime(1984, 1, 1, 0, 0), hour=1, value=638.55),
 Row(date=datetime.datetime(1984, 1, 1, 0, 0), hour=2, value=638.55),
 Row(date=datetime.datetime(1984, 1, 1, 0, 0), hour=3, value=638.55),
 Row(date=datetime.datetime(1984, 1, 1, 0, 0), hour=4, value=638.55),
 Row(date=datetime.datetime(1984, 1, 1, 0, 0), hour=5, value=638.55)]
Run Code Online (Sandbox Code Playgroud)

它的架构定义为:

elevDF.printSchema()

root
 |-- date: timestamp (nullable = true)
 |-- hour: long (nullable = true)
 |-- value: double (nullable = true)
Run Code Online (Sandbox Code Playgroud)

如何从"日期"字段中获取年,月,日值?

python timestamp apache-spark pyspark

25
推荐指数
2
解决办法
5万
查看次数

Tableau表隐藏没有数据的类别 - 如何预防?

我有Tableau报告,我在列中按类别显示数据.

该表显示数据上没有过滤器时的所有列.但是当应用过滤器时,某些类别没有数据,因此表缩小,隐藏没有数据的列

有没有办法在该列中始终显示列而不管数据?

请看下面的截图.

在此输入图像描述

tableau-api

8
推荐指数
1
解决办法
3万
查看次数

强制所有用户断开与2010 Access后端数据库的连接

我们有多用户前端/后端MS Access 2010应用程序.我们添加了一个进程,当我们想要在后端进行紧凑和修复等工作时,它将关闭远程前端.这是基于计时器的检查表字段,如果具有某个值将关闭应用程序.

我做了两项检查,看看用户是否连接到数据库:

  • 我有登录/注销过程,可以看到谁仍然登录(其形式基础因此是错误的,例如他们关闭形式,但前端仍然是开放的).

  • 我使用.ldb文件查看器来查看是否还有任何连接

两个问题:

  • 如果用ldb查看器无法查看到支持的连接是否有可能存在?

  • 是否有任何防弹证明100%强制断开后端的所有连接?

ms-access

5
推荐指数
3
解决办法
5万
查看次数

Google Analytics API - 按名称检索自定义细分 ID

使用 Google Analytics API 检索 20 多个配置文件的数据,以便我可以将所有这些数据组合成一组数据进行分析。(单独的配置文件适用于具有相同内容的不同域)

我在每个个人资料上使用自定义细分来删除推荐垃圾邮件。我给自定义分段指定了相同的名称,例如“引荐垃圾邮件”。

因此,我想在使用 API 检索记录时使用这些自定义分段。然而遇到了挑战。

我想我可以循环遍历这些分段,并通过自定义分段名称(例如“引荐垃圾邮件”)获取每个配置文件的 ID。我做的第一件事就是循环浏览这些段,看看它会给我带来什么。所以我做了以下事情:

# Authenticate and construct service.
service = get_service('analytics', 'v3', scope, key_file_location,
service_account_email)

segments = service.management().segments().list().execute()

for segment in segments.get('items', []):
  print 'Segment ID ' + segment.get('id') + " - " + segment.get('name')
Run Code Online (Sandbox Code Playgroud)

但这不会检索自定义细分,只会检索“标准”Google 细分,例如:

Segment ID -1 - All Sessions
Segment ID -2 - New Users
Segment ID -3 - Returning Users
Segment ID -4 - Paid Traffic
Segment ID -5 - Organic Traffic
Segment ID -6 …
Run Code Online (Sandbox Code Playgroud)

google-analytics-api

3
推荐指数
1
解决办法
1859
查看次数

Go/golang - 是否有相当于python"pip install"的安装包?

刚开始学习Go(人们会说"Go"还是"Golang"?)

我得到了hello world示例运行.我设置了GOROOT和GOPATH.

现在我想做一些更先进的事情,例如打开csv文件,我在这里找到了一个教程

为了使这个脚本工作,我需要导入的包,例如"bufio","encoding/csv"等.

我是否必须手动搜索https://github.com/golang/go/wiki/Projects或其他一些存储库,下载并解压缩到我的GOPATH"pkg"目录中?

或者Go/Golang是否有相当于Python的"pip install"的东西可以为我做这个?

import (
    "bufio"
    "encoding/csv"
    "os"
    "fmt"
    "io"
)

func main() {
    // Load a TXT file.
    f, _ := os.Open("C:\\Users\\bb\\Documents\\Dropbox\\Data\\bc hydro tweets\\bchtweets.csv")

    // Create a new reader.
    r := csv.NewReader(bufio.NewReader(f))
    for {
    record, err := r.Read()
    // Stop at EOF.
    if err == io.EOF {
        break
    }
    // Display record.
    // ... Display record length.
    // ... Display all individual elements of the slice.
    fmt.Println(record)
    fmt.Println(len(record))
    for value …
Run Code Online (Sandbox Code Playgroud)

go

2
推荐指数
2
解决办法
2484
查看次数

如何将JavaScript对象传递给另一个函数?

我正在从AWS S3存储桶下载csv文件,以便可以在D3中使用它。

下载csv文件没有问题。在下面的代码中console.log(data.Body.toString())以预期格式打印csv文件内容

但是,我不确定如何通过下面的代码将下载的csv文件内容传递给D3。

文件内容已经是不错的csv文件格式。

问题:merged.csv下面如何用mergedcsv物体代替?

<script type="text/javascript">

var bucket = new AWS.S3();

bucket.getObject({
    Bucket: 's3-google-analytics', 
    Key: 'merged.csv'
}, 
    function awsDataFile(error, data) {
        if (error) {
            return console.log(error);
        }
        mergedcsv = data.Body.toString();
        console.log(data.Body.toString());
    }
);

// how to replace the "merged.csv" below with the mergedcsv object above?

d3.csv("merged.csv", function(data) {
    var parseDate = d3.time.format("%Y%m%d").parse;
    var counter = 0;
    data.forEach(function(d) {
        etc
    });
});

</script>
Run Code Online (Sandbox Code Playgroud)

更新以添加mergedcsv内容样本,例如console.log(mergedcsv);或的输出console.log(data.Body.toString());

yyyymm,date,hostname,source,PPCC,in30days,sessionDuration,users,sessions,newUsers,twitterSessions,bounceRate,sessionsPerUser
201203,20120330,journal,google,PPCC,>30days,26.25,4,4,4,0,75.0,1.0
201203,20120331,journal,(direct),PPCC,>30days,0.0,3,3,3,0,100.0,1.0 …
Run Code Online (Sandbox Code Playgroud)

javascript d3.js

0
推荐指数
1
解决办法
77
查看次数