我有两个使用Tensorflow Python训练的模型,导出到名为export1.meta和的二进制文件export2.meta.当输入输入时,两个文件将只生成一个输出,例如output1和output2.
我的问题是,是否可以将两个图合并为一个大图,以便它在一次执行中一起生成output1和output2.
任何评论都会有所帮助.提前致谢!
使用Sqoop将数据从Impala加载到Vertica时出现以下错误.
YarnChild.main(YarnChild.java:158)引起:java.io.IOException:java.sql.BatchUpdateException:[Vertica] VJDBC服务器拒绝了一行或多行.org.apache.sqoop.mapreduce.AsyncSqlRecordWriter.write(AsyncSqlRecordWriter.java:233)位于org.apache.hadoop.mapred.MapTask的org.apache.sqoop.mapreduce.AsyncSqlRecordWriter.write(AsyncSqlRecordWriter.java:46)$ NewDirectOutputCollector .write(MapTask.java:658)org.apache.hadoop.mapreduce.task.TaskInputOutputContextImpl.write(TaskInputOutputContextImpl.java:89)at org.apache.hadoop.mapreduce.lib.map.WrappedMapper $ Context.write(WrappedMapper)的.java:java.sql.BatchUpdateException::112)在org.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.java:84)... 10更致[Vertica的] VJDBC一个或多个行是由拒绝服务器.
我正在运行以下命令:
须藤-u黑斑羚sqoop出口-Dsqoop.export.records.per.statement = XXX --driver com.vertica.jdbc.Driver --connect的jdbc:Vertica的://主机:5433/DB --username名 - 密码PW --table table --export-dir/some/dir -m 1 --input-fields-terminated-by'\ t'--input-lines-terminated-by'\n'--batch
每次都不会引发此错误.我有几个成功的测试加载超过200万行数据.所以我猜可能会有一些不良数据在被拒绝的行中包含特殊字符.这非常烦人,因为当引发此错误时,mapreduce作业将回滚并重试.在这种情况下,目标表中会有大量重复数据.
有没有人知道是否有任何sqoop导出参数可以设置为处理特殊字符或是否有任何方法可以跳过坏数据,这意味着禁用回滚？谢谢!