小编Adi*_*Adi的帖子

我正在尝试在 AWS Aurora 和 Redshift 之间设置同步。实现这种同步的最佳方法是什么？

可能的同步方式是：-

1. 查询表以查找表中的更改（因为我只执行插入，更新无关紧要），将这些更改导出到 S3 存储桶中的平面文件并使用 Redshift 复制命令插入到 Redshift 中。

2. 使用python 发布者和 Boto3 将更改发布到 Kinesis 流中，然后在 Firehose 中使用此流，我可以从那里直接复制到 Redshift 中。

3. 使用 Kinesis Agent 检测 binlog 中的更改（是否可以使用 Kinesis Agent 检测 int binlog 中的更改）并将其发布到 Firehose，然后从那里复制到 Firehose。

我还没有探索过 AWS Datapipeline。

我正在使用AWS DMS设置从 RDS 到 Redshift 的连续复制，如此处建议的那样。我的用例要求我合并多个 RDS 表中的数据以导出到 Redshift。例如。RDS 有学校、学生、学区表。我想导出数据，例如：-

select sch.Name, stu.Name, dis.Name from School sch inner join Student stu on stu.schoolid = sch.id inner join District dis on dis.id = sch.districtid;

因此，我想从多个表中选择列并导出到单个 Redshift 表。是否可以使用 AWS DMS 从多个表中进行选择？

我正在读取一个包含二进制字符串字段的 avro 文件，我需要将其转换为 java.lang.string 以将其传递给另一个库（spark-xml-util），如何将其转换为 java.lang。字符串有效。这是我到目前为止得到的代码：-

    val df = sqlContext.read.format("com.databricks.spark.avro").load("filePath/fileName.avro")
    df.select("myField").collect().mkString

最后一行给了我以下异常：-

Exception in thread "main" java.lang.ClassCastException: [B cannot be cast to java.lang.String
    at org.apache.spark.sql.Row$class.getString(Row.scala:255)
    at org.apache.spark.sql.catalyst.expressions.GenericRow.getString(rows.scala:165)

df 架构是： -

root
|-- id: string (nullable = true)
|-- myField: binary (nullable = true)

我有一个由我的 python 代码读取的 csv，一个数据框是使用 Pandas 创建的。

CSV 文件采用以下格式

1     1.0
2     99.0
3     20.0
7     63

我的代码计算百分位数，并希望找到第二列中值大于 60 的所有行。

df = pd.read_csv(io.BytesIO(body), error_bad_lines=False, header=None, encoding='latin1', sep=',')

percentile = df.iloc[:, 1:2].quantile(0.99)  # Selecting 2nd column and calculating percentile

criteria = df[df.iloc[:, 1:2] >= 60.0]

虽然我的百分位代码工作正常，但查找第 2 列值大于 60 的所有行的条件返回

NaN     NaN
NaN     NaN
NaN     NaN
NaN     NaN

你能帮我找出错误吗？

I have my XML file under the src/main/resources directory. My spring code looks like

import java.io.IOException;
import java.util.concurrent.atomic.AtomicLong;

import com.google.common.base.Charsets;
import com.google.common.io.Files;
import org.springframework.core.io.ClassPathResource;
import org.springframework.integration.xml.transformer.XsltPayloadTransformer;
import org.springframework.messaging.Message;
import org.springframework.messaging.support.MessageBuilder;
import org.springframework.stereotype.Controller;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.ResponseBody;

@Controller
public class BdeApplicationController {

    @GetMapping("/ping")
    @ResponseBody
    public String ping(@RequestParam(name="name", required=false, defaultValue="Stranger") String name) {
        return myFlow();
    }

    private String myFlow() {
        XsltPayloadTransformer transformer = getXsltTransformer();
        return transformer.transform(buildMessage(getXMLFileString())).toString();
    }

    private String getXMLFileString() {
        try {
            return Files.toString(new ClassPathResource("XML1.xml").getFile(), Charsets.UTF_8);
        } catch (IOException …