小编Fir*_*ame的帖子

Amazon Redshift COPY 命令中的转义分隔符

我正在将数据从 Amazon S3 提取到 Amazon Redshift 中的表中。该表包含各种列,其中某些列数据可能包含特殊字符。

copy 命令有一个名为的选项Delimiter,我们可以在其中指定分隔符,同时将数据拉入表中。

问题是 2 倍 -

当我(unload command)使用分隔符导出到 S3 时 - 比如说,- 它工作正常,但是当我尝试从 S3 导入到 Redshift 时,问题会蔓延,因为某些列包含 ',' 运算符,复制命令将其误解为分隔符并引发错误。

我尝试了各种分隔符,但我的表中的数据似乎包含导致上述问题的某种或其他类型的特殊字符。

我什至尝试使用多个分隔符卸载 - 就像#%或者~,但是当使用复制命令从 s3 加载时 - 不支持双分隔符。

任何解决方案?

我认为可以使用分隔符进行转义,\但由于某种原因也不起作用,或者我可能没有使用正确的语法在复制命令中进行转义。

amazon-s3 amazon-web-services amazon-redshift

6
推荐指数
1
解决办法
1万
查看次数

将数据从Postgres卸载到s3

我正在尝试从postgres数据库中将表数据卸载到Amazon s3中。

我知道redshift可以选择将其卸载到s3中-由于redshift是postgres数据库,因此我尝试在postgres数据库中使用相同的命令,但未成功。

有人可以帮助我定期将表数据从Postgres卸载到s3吗?

postgresql amazon-s3 amazon-web-services amazon-redshift

4
推荐指数
1
解决办法
7211
查看次数

使用 python 生成站点地图

我正在尝试使用 python 解析网页并创建站点地图。我写了下面的代码 -

import urllib2
from bs4 import BeautifulSoup
mypage = "http://example.com/"
page = urllib2.urlopen(mypage)

soup = BeautifulSoup(page,'html.parser')

all_links = soup.find_all('a')

for link in all_links:
    print link.get('href')
Run Code Online (Sandbox Code Playgroud)

上面的代码打印了(外部和内部)中的所有链接example.com

  • 我需要过滤掉外部链接并仅打印内部链接,我知道我可以使用域名“example.com”和“somethingelse.com”或任何名称来区分它们,但我无法使用 RE 格式得到这个 - 或者是否有任何内置库可以帮助实现这个
  • 一旦我获得了所有内部链接 - 我如何映射它们。例如,"example.com"有链接到"example.com/page1",有链接到"example.com/page3"。为这种流程创建地图的理想方法是什么?我正在寻找一个显示"example.com" -> "example.com/page1" -> "example.com/page3"或类似内容的库或逻辑

python beautifulsoup web-crawler

2
推荐指数
1
解决办法
5918
查看次数

在解码中使用 AND 条件

我有一个场景,我需要检查日期和值来确定结果。

前任-

case when my_date > '10-01-2011' and my_value = 0 then
'Do this'
else 
'Do that'
end
Run Code Online (Sandbox Code Playgroud)

我试图在 oracle SQL 查询中使用它,我想知道是否有更好的方法来处理这个逻辑而不是使用 case 语句;也许使用 decode 或任何其他 oracle 函数。

sql oracle decode case

1
推荐指数
1
解决办法
7115
查看次数

Storing json data in python

Is there a way to easily store json data in a variable in python. I don't mean the entire json in a variable, rather parsing and storing it as a key-value.

例如 - 如果这是json文件

[
   [
      1,
      "Apple"
   ],
   [
      2,
      "Orange"
   ],
   [
      3,
      "Grapes"
   ],
   [
      4,
      "Banana"
   ],
   [
      5,
      "Mango"
   ]
]
Run Code Online (Sandbox Code Playgroud)

我想在 python 中有一个列表或其他一些数据类型,我可以通过它轻松访问数据。

variable[1]应该打印 Apple 之类的东西

python json

1
推荐指数
1
解决办法
5572
查看次数