我有一个要尝试抓取和编目的目录的s3存储桶。格式是这样的,这里的SQL文件是DDL查询(CREATE TABLE匹配不同的数据文件的模式,它的语句),即data1,data2等等)
s3://my-bucket/somedata/20180101/data1/stuff.txt.gz
s3://my-bucket/somedata/20180101/data2/stuff.txt.gz
s3://my-bucket/somedata/20180101/data1.sql
s3://my-bucket/somedata/20180101/data2.sql
s3://my-bucket/somedata/20180102/data1/stuff.txt.gz
s3://my-bucket/somedata/20180102/data2/stuff.txt.gz
...
Run Code Online (Sandbox Code Playgroud)
我只想编目data1,所以我试图在Glue Crawler中使用排除模式 -见下文-即*.sql和data2/*。
不幸的是,搜寻器仍在对的根路径内的所有内容进行分类s3://my-bucket/somedata/。我可以忍受data2编目;我最担心/讨厌这些sql文件。
任何人都具有排除模式的经验或能够指出这里出了什么问题?
Amazon 的 S3 Select允许用户针对 S3 对象编写 SQL,但没有足够的文档说明支持哪些标准 SQL 功能。
根据该文件,亚马逊S3选择支持AVG,COUNT,MAX,MIN,和SUM。但是当我运行任何聚合查询时,我会收到类似的错误
botocore.exceptions.ClientError:调用 SelectObjectContent 操作时发生错误 (UnsupportedSqlOperation):不支持的 SQL 操作 GROUP BY。请查看服务文档以了解支持的操作。
这是一些要重现的代码:
import boto3
client = boto3.client('s3')
response = client.select_object_content(Bucket='my-bucket', Key='object.csv',
ExpressionType='SQL', Expression="select ID, count(*) from s3object group by s.ID ",
InputSerialization = {'CSV':{"FileHeaderInfo": "Use"}, 'CompressionType': 'GZIP'},
OutputSerialization = {'CSV':{}})
event_stream = response['Payload']
with open('output', 'wb') as f:
for event in event_stream:
if 'Records' in event:
data = event['Records']['Payload']
f.write(data)
Run Code Online (Sandbox Code Playgroud) 我有一个这样的DataFrame
>>> df = pd.DataFrame([[1,1,2,3,4,5,6],[2,7,8,9,10,11,12]],
columns=['id', 'ax','ay','az','bx','by','bz'])
>>> df
id ax ay az bx by bz
0 1 1 2 3 4 5 6
1 2 7 8 9 10 11 12
Run Code Online (Sandbox Code Playgroud)
我想把它变成这样的东西
id name x y z
0 1 a 1 2 3
1 2 a 7 8 9
2 1 b 4 5 6
3 2 b 10 11 12
Run Code Online (Sandbox Code Playgroud)
这是一个无法解决的问题,但我不知道通过保持这些组的完整性来融合的任何方法。我知道我可以在原始数据concat框上创建投影,然后在整个数据框上创建投影,但是我想知道是否遗漏了工具带中的一些常见融化技巧。
假设字符串中有一些 ASCII 字符,比如说s = ABC,如何将二进制表示形式检索为字符串?
在这种情况下,
A = '01000001'
B = '01000010'
C = '01000011'
Run Code Online (Sandbox Code Playgroud)
所以我想要类似的东西make_binary('ABC')返回'010000010100001001000011'
我知道我可以获得字符串的十六进制值。我知道我可以获得整数的二进制表示。我不知道是否有任何方法可以将所有这些部分连接在一起。
我有一个像这样的嵌套字典
Dictionary<double, Dictionary<double, List<string>>>
Run Code Online (Sandbox Code Playgroud)
使用LINQ我想
按降序对外部词典进行排序,保留前20个,并使用内部词典.
按降序对内部字典进行排序List<string>,对这些字符串列表保持已排序和执行操作.
我尝试了很多事情但没有成功.
我创建了一个Webpart,然后尝试将其上传到Sharepoint Server 2010.我这样做了:
插入 - > Web部件 - >上传Web部件 - >查找wsp文件 - >上传
我收到这条消息
"您导入的文件无效.请验证该文件是Web部件描述文件(*.webpart或*.dwp),并且它包含格式良好的XML."
我错过了什么步骤?当我从Visual Studio(F5)调试时,它可以正常工作.
更新
命令是:
stsadm.exe -o addsolution -filename C:\ABSOLUTEPATH.wsp
Run Code Online (Sandbox Code Playgroud)
http://technet.microsoft.com/es-es/library/cc263162%28office.12%29.aspx
STSADM.EXE -o deploysolution -name NAMESOLUTION.wsp -immediate
-allowGacDeployment -url http://URLSERVER
Run Code Online (Sandbox Code Playgroud)
http://technet.microsoft.com/es-es/library/cc262459%28office.12%29.aspx
我正在尝试使用Expression Blend在Silverlight中设置ComboBox的样式.
ComboBox模板包含四个项目:
ContentPresenterBorderDisabledVisualElementFocusVisualElementPopup双方ContentPresenterBorder并Popup包含子元素,并且也有一个小图标,看起来像一个拼图一块带有一个绿色的勾.鼠标悬停在此图标上,我收到工具提示:
Popup是一个控制部分.
这是什么意思?
我想知道如何将一个ToolTip控件添加到表单中,并且所有按钮都能获得不同的文本?一个对象如何扩展所有其他对象,在每个对象上添加不同的东西?我不知道我是否清楚,如果我不清楚,请告诉我!提前致谢!
我的Web应用程序中发生了一些奇怪的事情.我有一个静态字典,用于存放包含两个变量的简单对象的集合:
static Dictionary<string, linkButtonObject> linkButtonDictonary = new Dictionary<string, linkButtonObject>();
Run Code Online (Sandbox Code Playgroud)
我有一个带链接按钮的gridview,每个数据都与它的button.UniqueId相关联.
protected void hoursReportGridView_OnRowDataBound(Object sender, GridViewRowEventArgs e)
{
LinkButton btn = (LinkButton)e.Row.FindControl("taskLinkButton");
linkButtonObject currentRow = new linkButtonObject();
currentRow.storyNumber = e.Row.Cells[3].Text;
currentRow.TaskName = e.Row.Cells[5].Text;
linkButtonDictonary.Add(btn.UniqueID, currentRow);
}
Run Code Online (Sandbox Code Playgroud)
然后当单击linkbutton时,我使用UniqueId在字典中查找值,在SQL查询中使用它们并使用检索到的数据填充gridview,标签并显示弹出窗口:
protected void taskLinkButton_Click(object sender, EventArgs e)
{
//create linkbutton object from sender
LinkButton btn = (LinkButton)sender;
//get a list of data relevant to column
string[] infoData = getInfoData(linkButtonDictonary[btn.UniqueID].storyNumber,
linkButtonDictonary[btn.UniqueID].TaskName);
//assign content of list to labels and gridview
productDatabaseLabel.Text = infoData[0];
storyNumberDatabaseLabel.Text = infoData[1];
taskDatabaseLabel.Text …Run Code Online (Sandbox Code Playgroud) 我有一个简单numpy的阵列(例如[1,4,2,3,1]),并希望将其投影成一个二进制矩阵,其中所述阵列中的每个值映射到在矩阵的该列的指示符。
例如,这个数组将映射到一个矩阵,如:
[1], => [1,0,0,0],
[4], [0,0,0,1],
[2], [0,1,0,0],
[3], [0,0,1,0],
[1] [1,0,0,0]
Run Code Online (Sandbox Code Playgroud)
我可以通过迭代和列表推导来做到这一点,但是有没有优雅的 numpy 解决方案?