小编sca*_*ser的帖子

我想将test.tar.gz文件从S3复制到HDFS.这可以通过distcp或s​​3distcp来完成.但我的要求是,当我将文件传输到HDFS时,它应该在运行中提取,在HDFS中,我应该只提取文件而不是tar.gz.

请给我任何建议.

我通过AWS java SDK将图像文件上传到S3,这是我的代码:

AmazonS3 s3 = new AmazonS3Client(basicAWSCredentials)

PutObjectRequest putObj = new PutObjectRequest(bucketName, folderPath, getFile(fileName,fileContentToUpload));

putObj.setCannedAcl(CannedAccessControlList.PublicRead);
s3.putObject(putObj);

在Windows系统上它工作正常,但在Linux上它给出以下错误:

错误消息:无法计算MD5哈希:Chrysanthemum.jpg(没有这样的文件或目录)

我有一个FabricJS基于FabricJS组的自定义子类：

var canvasObject = fabric.util.createClass(fabric.Group, {

                  type: 'canvasObject',

                  initialize: function(options) {
                    options || (options = { });
                    this.callSuper('initialize', options);

                    var rectBase = new fabric.Rect({
                       fill : 'red',
                       originX: 'left',
                       originY: 'top',
                       left: options.margin.l,
                       top: options.margin.t,
                       width : (options.width-options.margin.l-options.margin.r),
                       height :(options.height-options.margin.t-options.margin.b),
                    });


                    var labeledRect = new LabeledRect({
                      width: options.width,
                      height: options.height,
                      'idname': options.idname,
                      background: 'transparent',
                      labelFont: '14px Helvetica',
                    });



                    this.callSuper('initialize', [labeledRect, rectBase], options);

                  },

                  toObject: function() {
                    return fabric.util.object.extend(this.callSuper('toObject'), {
                      idname: this.get('idname')
                    });
                  },

                  _render: function(ctx) { …

页面中有四个字段可以说

EMPLOYEE ID
DEPT
LOCATION
UNIT:

用户可能输入的所有字段值都是可选的，如果输入，EMPLOYEE ID则查询应返回与该字段相关的行EMPLOYEE ID。如果他仅输入，LOCATION则查询应返回该位置的所有雇员。如何编写带有可选参数的where子句条件。

我正在尝试anti-aliasing使用Python-Pillow's im.thumbnail()方法对我的图像进行下采样(使用).

我的代码看起来像:

MAXSIZE = 1024
im.thumbnail(MAXSIZE, Image.ANTIALIAS)

你能告诉我一些替代方法opencv-python来执行这个重新调整大小的操作吗？

我正在尝试使用以下命令将文件从S3复制到HDFS:

hadoop distcp s3n://bucketname/filename hdfs://namenodeip/directory

但是这不起作用,得到如下错误:

ERROR tools.DistCp: Exception encountered 
java.lang.IllegalArgumentException: Invalid hostname in URI

我试图在hadoop conf.xml中添加S3密钥,但它也无法正常工作.请帮我逐步完成从S3到HDFS的文件复制步骤.

提前致谢.