小编Kir*_*rst的帖子

胶履带排除模式

我有一个要尝试抓取和编目的目录的s3存储桶。格式是这样的,这里的SQL文件是DDL查询(CREATE TABLE匹配不同的数据文件的模式,它的语句),即data1data2等等)

s3://my-bucket/somedata/20180101/data1/stuff.txt.gz
s3://my-bucket/somedata/20180101/data2/stuff.txt.gz
s3://my-bucket/somedata/20180101/data1.sql
s3://my-bucket/somedata/20180101/data2.sql  
s3://my-bucket/somedata/20180102/data1/stuff.txt.gz
s3://my-bucket/somedata/20180102/data2/stuff.txt.gz
...
Run Code Online (Sandbox Code Playgroud)

我只想编目data1,所以我试图在Glue Crawler中使用排除模式 -见下文-即*.sqldata2/*

不幸的是,搜寻器仍在对的根路径内的所有内容进行分类s3://my-bucket/somedata/。我可以忍受data2编目;我最担心/讨厌这些sql文件。

任何人都具有排除模式的经验或能够指出这里出了什么问题?

aws-glue

3
推荐指数
1
解决办法
2153
查看次数

S3 Select 中的聚合函数

Amazon 的 S3 Select允许用户针对 S3 对象编写 SQL,但没有足够的文档说明支持哪些标准 SQL 功能。

根据该文件,亚马逊S3选择支持AVGCOUNTMAXMIN,和SUM。但是当我运行任何聚合查询时,我会收到类似的错误

botocore.exceptions.ClientError:调用 SelectObjectContent 操作时发生错误 (UnsupportedSqlOperation):不支持的 SQL 操作 GROUP BY。请查看服务文档以了解支持的操作。

这是一些要重现的代码:

import boto3
client = boto3.client('s3')

response = client.select_object_content(Bucket='my-bucket', Key='object.csv', 
    ExpressionType='SQL', Expression="select ID, count(*) from s3object group by s.ID ",
    InputSerialization = {'CSV':{"FileHeaderInfo": "Use"}, 'CompressionType': 'GZIP'},
    OutputSerialization = {'CSV':{}})

event_stream = response['Payload']
with open('output', 'wb') as f:
    for event in event_stream:
        if 'Records' in event:
            data = event['Records']['Payload']
            f.write(data)
Run Code Online (Sandbox Code Playgroud)

amazon-s3 boto3 amazon-s3-select

3
推荐指数
1
解决办法
3823
查看次数

熊猫“部分融化”或“群体融化”

我有一个这样的DataFrame

>>> df = pd.DataFrame([[1,1,2,3,4,5,6],[2,7,8,9,10,11,12]], 
                      columns=['id', 'ax','ay','az','bx','by','bz'])
>>> df
   id  ax  ay  az  bx  by  bz
0   1   1   2   3   4   5   6
1   2   7   8   9  10  11  12
Run Code Online (Sandbox Code Playgroud)

我想把它变成这样的东西

   id name   x   y   z
0   1    a   1   2   3
1   2    a   7   8   9
2   1    b   4   5   6
3   2    b  10  11  12
Run Code Online (Sandbox Code Playgroud)

这是一个无法解决的问题,但我不知道通过保持这些组的完整性来融合的任何方法。我知道我可以在原始数据concat框上创建投影,然后在整个数据框上创建投影,但是我想知道是否遗漏了工具带中的一些常见融化技巧。

python unpivot melt pandas

3
推荐指数
2
解决办法
123
查看次数

字符串的二进制表示

假设字符串中有一些 ASCII 字符,比如说s = ABC,如何将二进制表示形式检索为字符串?

在这种情况下,

A = '01000001'
B = '01000010'
C = '01000011'
Run Code Online (Sandbox Code Playgroud)

所以我想要类似的东西make_binary('ABC')返回'010000010100001001000011'

我知道我可以获得字符串的十六进制值。我知道我可以获得整数的二进制表示。我不知道是否有任何方法可以将所有这些部分连接在一起。

python encoding

3
推荐指数
1
解决办法
2210
查看次数

使用LINQ查询字典中的字典

我有一个像这样的嵌套字典

Dictionary<double, Dictionary<double, List<string>>>
Run Code Online (Sandbox Code Playgroud)

使用LINQ我想

  1. 按降序对外部词典进行排序,保留前20个,并使用内部词典.

  2. 按降序对内部字典进行排序List<string>,对这些字符串列表保持已排序和执行操作.

我尝试了很多事情但没有成功.

c# linq

2
推荐指数
1
解决办法
1166
查看次数

将Webpart上传到Sharepoint 2010

我创建了一个Webpart,然后尝试将其上传到Sharepoint Server 2010.我这样做了:

插入 - > Web部件 - >上传Web部件 - >查找wsp文件 - >上传

我收到这条消息

"您导​​入的文件无效.请验证该文件是Web部件描述文件(*.webpart或*.dwp),并且它包含格式良好的XML."

我错过了什么步骤?当我从Visual Studio(F5)调试时,它可以正常工作.


更新

命令是:

stsadm.exe -o addsolution -filename C:\ABSOLUTEPATH.wsp
Run Code Online (Sandbox Code Playgroud)

http://technet.microsoft.com/es-es/library/cc263162%28office.12%29.aspx

STSADM.EXE -o deploysolution -name NAMESOLUTION.wsp -immediate 
    -allowGacDeployment -url http://URLSERVER
Run Code Online (Sandbox Code Playgroud)

http://technet.microsoft.com/es-es/library/cc262459%28office.12%29.aspx

deployment sharepoint web-parts sharepoint-2010

2
推荐指数
1
解决办法
9855
查看次数

"Popup是一个控制部分" - Silverlight中的"控制部分"是什么?

我正在尝试使用Expression Blend在Silverlight中设置ComboBox的样式.

ComboBox模板包含四个项目:

  • ContentPresenterBorder
  • DisabledVisualElement
  • FocusVisualElement
  • Popup

双方ContentPresenterBorderPopup包含子元素,并且也有一个小图标,看起来像一个拼图一块带有一个绿色的勾.鼠标悬停在此图标上,我收到工具提示:

Popup是一个控制部分.

这是什么意思?

silverlight expression-blend

2
推荐指数
1
解决办法
516
查看次数

C# - ToolTip如何工作?

我想知道如何将一个ToolTip控件添加到表单中,并且所有按钮都能获得不同的文本?一个对象如何扩展所有其他对象,在每个对象上添加不同的东西?我不知道我是否清楚,如果我不清楚,请告诉我!提前致谢!

text button tooltip winforms

2
推荐指数
1
解决办法
886
查看次数

时间过去时字典丢失键值对

我的Web应用程序中发生了一些奇怪的事情.我有一个静态字典,用于存放包含两个变量的简单对象的集合:

static Dictionary<string, linkButtonObject> linkButtonDictonary = new Dictionary<string, linkButtonObject>();
Run Code Online (Sandbox Code Playgroud)

我有一个带链接按钮的gridview,每个数据都与它的button.UniqueId相关联.

protected void hoursReportGridView_OnRowDataBound(Object sender, GridViewRowEventArgs e)
{
     LinkButton btn = (LinkButton)e.Row.FindControl("taskLinkButton");
     linkButtonObject currentRow = new linkButtonObject();
     currentRow.storyNumber = e.Row.Cells[3].Text;
     currentRow.TaskName = e.Row.Cells[5].Text;
     linkButtonDictonary.Add(btn.UniqueID, currentRow);
}
Run Code Online (Sandbox Code Playgroud)

然后当单击linkbutton时,我使用UniqueId在字典中查找值,在SQL查询中使用它们并使用检索到的数据填充gridview,标签并显示弹出窗口:

protected void taskLinkButton_Click(object sender, EventArgs e)
{
    //create linkbutton object from sender
    LinkButton btn = (LinkButton)sender;
    //get a list of data relevant to column
    string[] infoData = getInfoData(linkButtonDictonary[btn.UniqueID].storyNumber, 
        linkButtonDictonary[btn.UniqueID].TaskName);
    //assign content of list to labels and gridview
    productDatabaseLabel.Text = infoData[0];
    storyNumberDatabaseLabel.Text = infoData[1];
    taskDatabaseLabel.Text …
Run Code Online (Sandbox Code Playgroud)

c# asp.net dictionary

2
推荐指数
1
解决办法
652
查看次数

将多类数组投影到二进制矩阵中

我有一个简单numpy的阵列(例如[1,4,2,3,1]),并希望将其投影成一个二进制矩阵,其中所述阵列中的每个值映射到在矩阵的该列的指示符。

例如,这个数组将映射到一个矩阵,如:

[1], => [1,0,0,0],
[4],    [0,0,0,1],
[2],    [0,1,0,0],
[3],    [0,0,1,0],
[1]     [1,0,0,0]
Run Code Online (Sandbox Code Playgroud)

我可以通过迭代和列表推导来做到这一点,但是有没有优雅的 numpy 解决方案?

python numpy matrix binary-matrix

2
推荐指数
1
解决办法
988
查看次数