小编Kir*_*rst的帖子

从数据流到BigQuerySource的简单查询引发异常

我正在尝试编写一个利用类中的query参数的简单数据流作业BigQuerySource

简单来说,我可以使用BigQuerySource该类访问BigQuery表,然后对其进行过滤。我无法使用来直接针对BigQuery表查询/过滤BigQuerySource

这是一些代码。在我的Dataflow管道中进行在线过滤可以正常工作:

import argparse
import apache_beam as beam

parser = argparse.ArgumentParser()
parser.add_argument('--output', required=True)
known_args, pipeline_args = parser.parse_known_args(None)    
p = beam.Pipeline(argv=pipeline_args)

source = 'bigquery-public-data:samples.shakespeare'
rows = p | 'read'>>beam.io.Read(beam.io.BigQuerySource(source))
f = rows | 'filter' >> beam.Map(lambda row: 1 if (row['word_count'] > 1) else 0) 

f | 'write' >> beam.io.WriteToText(known_args.output)    
p.run()
Run Code Online (Sandbox Code Playgroud)

用单行查询替换该中间节会产生错误。

f = p | 'read' >> beam.io.Read(beam.io.BigQuerySource('SELECT 1 FROM ' \
    + 'bigquery-public-data:samples.shakespeare where word_count > 1'))
Run Code Online (Sandbox Code Playgroud)

返回的错误看起来像语法错误。

(a29eabc394a38f62): Workflow failed. …
Run Code Online (Sandbox Code Playgroud)

google-bigquery google-cloud-platform google-cloud-dataflow

2
推荐指数
1
解决办法
378
查看次数

在SQL中声明多个变量

我是新来的SQL,并试图确定如何将一个变量设置为一个
这是声明:

DECLARE @Planner AS VARCHAR(50) = '2566927' OR @Planner = '12201704'
Run Code Online (Sandbox Code Playgroud)

我收到的错误是:

在执行SQL查询的过程中发生以下错误:
关键字“ OR”附近的语法不正确。

这是一个更完整的示例:

DECLARE
@Planner AS VARCHAR(50) = '2566927'

--Temp Table for Final
CREATE TABLE #PP1(
  Part_Key varChar(50)
  ,Part_No varChar(50)
  ,Part_Name varChar(50)
  ,CurInv DECIMAL(10,2)
  ,MinInv DECIMAL(10,2)
  ,Past_Due DECIMAL(10,2)
  ,Week2 DECIMAL(10,2)
  ,Week4 DECIMAL(10,2)
  ,Week8 DECIMAL(10,2)
  ,Week12 DECIMAL(10,2)
  ,Plus12 DECIMAL(10,2)
  ,Dep26w DECIMAL(10,1)
  ,Stock DECIMAL(10,1)
  ,StockPur DECIMAL (10,1)
  )

--Temp Table to Limit Parts
CREATE TABLE #MRP_Parts(
  MRP_PK varChar(50)
  ,MRP_PN varChar(50)
  ,MRP_PNAME varChar(50)
  )

--Insert …
Run Code Online (Sandbox Code Playgroud)

sql t-sql sql-server

2
推荐指数
1
解决办法
9869
查看次数

在DynamoDB中将带有保留字的ProjectionExpression与Boto3结合使用

我正在使用boto3从DynamoDB数据库中选择数据

dynamodb = boto3.resource('dynamodb')
table = dynamodb.Table(table_name)
response = table.scan(ProjectionExpression='Id,Name')['Items']
Run Code Online (Sandbox Code Playgroud)

工作正常。现在,我也想检索一个属性(不幸的是)使用保留字命名-假设CONNECTION

response = table.scan(ProjectionExpression='Id,Name,Connection')['Items']
Run Code Online (Sandbox Code Playgroud)

我收到类似的错误

调用扫描操作时发生错误(ValidationException):无效的ProjectionExpression:属性名称是保留的关键字;保留关键字:连接

我知道是否有使用过滤器或查询的别名技术,但这是否存在于来自boto3的简单投影中?

python amazon-dynamodb boto3

2
推荐指数
1
解决办法
2132
查看次数

检查WCF服务使用的InstanceContextMode

有没有办法检查我的WCF服务使用什么InstanceContextMode?

我可以在svclog文件中找到/写入这个值吗?

谢谢!

wcf

1
推荐指数
1
解决办法
1299
查看次数

已过去的一天的百分比

我们正在针对目标测量实际值.我们有一天(24小时)的总体目标,但我们需要计算任何给定时间的目标来衡量我们目前的进展情况.

显然,我们需要将总体目标与给定时间进行比例分配; 因此,如果是正午,那么渐进目标是每日目标的一半,而在早上6点,渐进目标将是每日目标的四分之一 - 依此类推.

在SQL中执行此操作的最有效方法是什么?有一个明显的解决方案,但它不是很漂亮 - 我希望能够DATETIME在一次操作中将a 转换为总的毫秒数.

sql sql-server sql-server-2008

1
推荐指数
1
解决办法
476
查看次数

什么是LINQ相当于SQL

List<string> li = new List<string>();
        li.Add("10,11,12,1");
        li.Add("10,11,12,13");

        var q = from d in li
                where d.Contains("1")
                select d;
Run Code Online (Sandbox Code Playgroud)

我有一个包含两个值的字符串列表.我有单值"1",我想获取该字符串中包含值"1"的列表对象,即我想要列表中的第一个对象.如果我使用contains然后它将返回两个列表对象值,那么什么是查询,它给我完美的结果?

c# linq

1
推荐指数
1
解决办法
89
查看次数

Haskell中的$是什么,以及如何将函数应用于函数

我正在使用Haskell进行Project Euler,并在完成第一个问题时找到了要学习的东西.这是我的代码:

isValid x = (mod x 3 == 0) || (mod x 5 == 0)
listValid :: Integer -> [Integer]
listValid n = [x | x <- [1..n-1], isValid x]
Run Code Online (Sandbox Code Playgroud)

该函数listValid将获得所有正整数小于n可被3或5分解的正整数.足够简单.

*Main> listValid 10
[3,5,6,9]
Run Code Online (Sandbox Code Playgroud)

现在我需要总结它们.我认为sum函数是正确的方法.我不明白为什么前两个版本工作,然后第三个不工作.

*Main> sum (listValid 10)
23
*Main> sum $ listValid 10
23
*Main> sum listValid 10

<interactive>:4:5:
    Couldn't match type ‘[Integer]’ with ‘a0 -> t’
    Expected type: Integer -> a0 -> t
      Actual type: Integer -> [Integer]
    Relevant …
Run Code Online (Sandbox Code Playgroud)

haskell function operator-precedence

1
推荐指数
1
解决办法
88
查看次数

将StackName附加到Cloudformation资源

我想基于一个CloudFormation模板拥有多个堆栈,但是我遇到了命名冲突。解决此问题的最简单方法似乎是在StackName每个重复的资源(例如我的lambda函数或角色)之前(或附加)。

AWS 在文档AWS::StackName“模板参考”部分中进行了讨论,但是没有明确演示如何执行此操作。

如何在之前StackName添加CloudFormation资源?

MyLambdaFunction
  Type: "AWS:Serverless::Function"
  Properties:
    FunctionName: AWS::StackName + "-myLambdaFunction"
Run Code Online (Sandbox Code Playgroud)

naming amazon-web-services aws-cloudformation

1
推荐指数
1
解决办法
103
查看次数

有没有人在这里使用Struts 1进行新项目?

我有一个场景,客户要求在struts 1上开发一个新项目.看起来他们有很多应用程序在Struts 1上运行,内部IT团队对此很满意.

对于数据访问,我们被要求编写JDBC,没有ORM,甚至不是Spring DAO.他们开发了一个框架,我们被要求使用它.

我想知道这里是否有人遇到类似情况,并设法说服客户使用更新的框架.

struts perception

0
推荐指数
1
解决办法
778
查看次数

有没有一种简单的方法来设置大量的WPF Form对象?

这只是一个基本的例子:

if (a == b)
{
    textBox1.Text = "a == b"; 
    textBox1.IsEnabled = true; 
    textBox2.Text = "EXAMPLE2"; 
    textBox2.IsEnabled = false; 
    textBox3.Text = "EXAMPLE3"; 
    textBox3.IsEnabled = false; 
    textBox4.Text = "EXAMPLE4"; 
    textBox4.IsEnabled = false; 
    textBox5.Text = "EXAMPLE5"; 
    textBox5.IsEnabled = false; 
}
else 
{
    textBox1.Text = "a != b"; 
    textBox1.IsEnabled = false; 
    textBox2.Text = "EXAMPLE2"; 
    textBox2.IsEnabled = true; 
    textBox3.Text = "EXAMPLE3"; 
    textBox3.IsEnabled = true; 
    textBox4.Text = "EXAMPLE4"; 
    textBox4.IsEnabled = true; 
    textBox5.Text = "EXAMPLE5"; 
    textBox5.IsEnabled = true;
}  
Run Code Online (Sandbox Code Playgroud)

这看起来很乏味.我想知道是否有更好的方法来处理这样的情况?我只是觉得所有的Pros都没有使用这个1x1x1x ....方法.

wpf xaml

0
推荐指数
1
解决办法
155
查看次数

合并两个没有重复的列表

我需要根据另外两个列表创建一个列表.但似乎它不会删除重复项.

这种合并两个列表没有欺骗的有效方法吗?

List<String[]> blocksComparisonSet1 = new List<String[]>(); 
List<String[]> blocksComparisonSet2 = new List<String[]>(); 
//we will combine list1 and list2 into this one
List<String[]> blocksComparisonFinal = new List<String[]>(); 

//this is how I store data in each list  
//if both values found, add both of them (partial functions, FYI)
String[] NA = new String[2]; //keep results
NA[0] = baseLine; //[0] for base
NA[1] = resultLine; //[1] for result
blocksComparisonSet1.Add(NA);

//if only one value found
String[] NA = new String[2]; //keep results
NA[0] = …
Run Code Online (Sandbox Code Playgroud)

c# optimization list duplicates duplicate-removal

0
推荐指数
1
解决办法
482
查看次数

从数据类型检索值

我正在尝试在Haskell中实现对象图,并且我有一个简单的Node类型,其中包含一个标识符和一个已连接节点的列表。

data Node = Node Integer [Node] deriving (Show)
Run Code Online (Sandbox Code Playgroud)

我的问题是对这些类型进行操作-特别是检索值。例如,我想查看Integer节点内的值;也许找到ID = 0的商品

nodes = [Node 0 []]
[n | n <- nodes, fst n == 0]

• Couldn't match expected type ‘(Integer, b0)’
                  with actual type ‘Node’
    • In the first argument of ‘fst’, namely ‘n’
      In the first argument of ‘(==)’, namely ‘fst n’
      In the expression: fst n == 0
Run Code Online (Sandbox Code Playgroud)

好的,所以我不能使用fst。我不能使用!!。我可以编写一个函数来提取值,例如

nodeId :: Node -> Integer
nodeId (Node …
Run Code Online (Sandbox Code Playgroud)

syntax haskell algebraic-data-types

0
推荐指数
2
解决办法
68
查看次数

字符串的二进制表示

假设我在字符串中有一些ASCII字符,比如说s = "ABC",我怎样才能检索字符串形式的二进制/位表示形式?

在这种情况下,

A = 41 = "01000001"
B = 42 = "01000010"
C = 43 = "01000011"
Run Code Online (Sandbox Code Playgroud)

所以我想make_binary "ABC"回来"010000010100001001000011"

我不知道是否有任何方法来获取字符的编码值,并且(如果有)我不知道是否有任何方法来获取该值的“位表示”。

我可以使用从字符到“位表示字符串”的直接映射来解决此问题,但希望有更好的方法。

haskell

-2
推荐指数
1
解决办法
73
查看次数