小编Fel*_*ffa的帖子

用户如何证明特定帐户可以访问BigQuery?(AEAD加密和授权视图)

我正在举办一个活动,需要多个人访问BigQuery,我希望他们向我发送证明他们可以访问的证据:

  • 我想收集可以访问BigQuery的参与者的电子邮件地址。
  • 我想证明他们使用过BigQuery。

用户如何证明其特定的电子邮件帐户有权访问BigQuery?

我想知道我们是否可以构建具有授权视图和加密功能的解决方案。

encryption sql-view google-bigquery

4
推荐指数
1
解决办法
457
查看次数

SQL Snowflake 脚本 - 如何返回循环时在内存中创建的表?

在 SQL Snowflake 脚本中使用游标等循环结果时,如何返回在内存中创建的表?

我可以创建一个temp tableandinsert into最后返回结果,但这太慢了。

(摘自现已删除的有关SQL 中的 Snowflake Scripting 的评论 - 如何迭代 SHOW 命令的结果?

sql scripting snowflake-cloud-data-platform

4
推荐指数
1
解决办法
1996
查看次数

appengine:缓存的引用属性?

如何在Google App Engine中缓存参考属性?

例如,假设我有以下模型:

class Many(db.Model):
    few = db.ReferenceProperty(Few) 

class Few(db.Model):
    year = db.IntegerProperty()
Run Code Online (Sandbox Code Playgroud)

然后我创造了许多Many只指向一个的东西Few:

one_few = Few.get_or_insert(year=2009)
Many.get_or_insert(few=one_few)
Many.get_or_insert(few=one_few)
Many.get_or_insert(few=one_few)
Many.get_or_insert(few=one_few)
Many.get_or_insert(few=one_few)
Many.get_or_insert(few=one_few)
Run Code Online (Sandbox Code Playgroud)

现在,如果我想迭代所有Many的,读取它们的few价值,我会这样做:

for many in Many.all().fetch(1000):
  print "%s" % many.few.year
Run Code Online (Sandbox Code Playgroud)

问题是:

  • 每次访问都会many.few触发数据库查找吗?
  • 如果是,是否可以在某处缓存,因为每次只有一次查找应该足以带来同一个实体?

正如一篇评论中所述:我知道memcache,但是当我通过引用调用另一个实体时,我不确定如何"注入"它.

在任何情况下,memcache都没用,因为我需要在执行中缓存,而不是在它们之间.使用memcache无助于优化此调用.

python database performance google-app-engine google-cloud-datastore

3
推荐指数
1
解决办法
1538
查看次数

如何将多个文件作为事务上传到Google云存储桶

用例:

将多个文件上传到云存储桶中,然后使用该数据作为bigquery导入的源。使用存储桶的名称作为元数据来驱动数据应进入哪个分片表。

题:

为了防止部分导入到bigquery表中,理想情况下,我想执行以下操作:

  • 将文件上传到暂存区中
  • 验证所有文件均已正确上传
  • 将分段存储桶重命名为其最终名称(例如gs:// 20130112)
  • 触发bigquery导入以将存储桶加载到分片表中

由于gsutil似乎不支持存储桶重命名,有哪些其他方法可以实现此目的?

google-cloud-storage google-bigquery

3
推荐指数
1
解决办法
2326
查看次数

如何使用BigQuery找到最常见的二元组?

我想在桌子上找到最常见的双字(双字).我怎么能用BigQuery做到这一点?

n-gram google-bigquery

3
推荐指数
2
解决办法
2611
查看次数

从 BigQuery 获取数据需要很长时间

我正在尝试从 BigQuery 获取数据。当我获取小数据时,一切工作正常,但当我尝试获取大数据时,则需要很长时间。有什么有效的办法吗?

到目前为止我正在使用这个:

import os
os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = 'cred.json'
import google.auth
from google.cloud import bigquery

%load_ext google.cloud.bigquery

import google.datalab.bigquery as bq
from google.cloud.bigquery import Client

client = bigquery.Client()
Run Code Online (Sandbox Code Playgroud)

这是我的 SQL 命令:

sql = """
   SELECT bla, bla1, bla2
FROM table
"""
df = client.query(sql)
df.to_dataframe()
Run Code Online (Sandbox Code Playgroud)

python sql pandas google-bigquery jupyter-notebook

3
推荐指数
1
解决办法
4160
查看次数

Snowflake SQL 上带有空值的字符串连接

我有 3 列(名字、中间名、姓氏),我想连接 3 个字符串(以构造全名)。

但是,如果其中任何一个值为 null,则结果也为 null。

当其中一些字符串可能为空时,连接字符串的优雅且安全的方法是什么?

sql snowflake-cloud-data-platform

3
推荐指数
1
解决办法
2962
查看次数

Snowflake SQL 编译器和执行有多懒?

我可以依靠 Snowflake 的惰性评估来进行测试和异常抛出吗?

CTE 是否被延迟评估?

这有记录吗?

(相关问题:Snowflake 中的断言

sql testing optimization exception snowflake-cloud-data-platform

3
推荐指数
1
解决办法
831
查看次数

Snowflake 无法显示/解释 unicode '\u0089'

我试图在雪花浏览器结果中显示 Unicode 字符 \'\\u0089\',但它似乎显示默认错误值。我不知道如何解决这个问题

\n

数据是从源 JSON 文档中获取的,该文档指出该字段为

\n
"Units": "\\u0089"\n
Run Code Online (Sandbox Code Playgroud)\n

在此输入图像描述

\n

如您所见,"Units": "\\u0089"未正确显示为 \xe2\x80\xb0

\n

一件奇怪的事情是删除该char()方法时。我尝试了另一个代码137,但是当尝试转换为 unicode 时,它​​是不正确的

\n

在此输入图像描述

\n

有任何想法吗?谢谢!

\n

java sql unicode user-defined-functions snowflake-cloud-data-platform

3
推荐指数
1
解决办法
550
查看次数

3
推荐指数
1
解决办法
3616
查看次数