我为Hive JDBC编写了这个小程序.最初它正在执行正常,但当我试图突然运行时,我遇到了错误.
import java.io.FileWriter;
import java.io.InputStream;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.Statement;
import java.text.DateFormat;
import java.text.SimpleDateFormat;
import java.util.Calendar;
import java.util.Date;
public class SampleHiveProgram
{
String lyear="";
String lquarter="";
String driverName = "org.apache.hadoop.hive.jdbc.HiveDriver";
public static void main(String[] args)
{
SampleHiveProgram s=new SampleHiveProgram();
s.startHiveThriftServer();
s.quarterTable();
}
public void startHiveThriftServer()
{
try
{
String cmd = "/home/hadoop/sqoop-1.3.0-cdh3u1/bin/StartHiveThriftServer.sh"; // this is the command to execute in the Unix shell
// create a process for the shell
ProcessBuilder pb = new ProcessBuilder("bash", …我是亚马逊服务的新手,面临一些问题.
假设我在Amazon Elastic Mapreduce上运行了一些总共3个实例的Job Flow.在我的工作流程上运行时,我发现我的工作需要更多的时间来执行.在这种情况下,我需要在其中添加更多实例,以便我的实例将增加,因此作业将快速执行.
我的问题是如何将这样的实例添加到现有实例中？因为如果我们终止现有实例并再次创建具有更多数字的新实例是耗时的.
无论如何要做到这一点？如果是,那么请建议我.我正在通过CLI完成所有这些任务.因此,请与AWS管理控制台中的GUI步骤一起分享带有命令的anwers.
谢谢.
我通过maven在eclipse中导入了多个项目.在eclipse中导入项目后,我发现项目浏览器中的项目文件夹有一些错误.所有错误都在pom.xml上.
当我打开pom.xml时,错误是这样的:
Project build error: Non-resolvable parent POM: Failure to find org.openhie.openempi:openempi:pom:2.2.5 in http://repo1.maven.org/maven2 was cached in the local repository, resolution will not be reattempted until the update interval of central has elapsed or updates are forced and 'parent.relativePath' points at wrong local POM
如何在eclipse中解决这个错误？我尝试了很多时候添加错误消息中指定的缺少的JAR,但仍然在pom.xml上突出显示错误.
请告诉我这个.
谢谢
我有一些Java项目,我正在尝试使用Windows中的Maven构建它.但我在做这件事时遇到了一些错误.我用过这个命令
"mvn -Dmaven.test.skip=true install"
细节如下:
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO]
[INFO] OpenEMPI Application .............................. SUCCESS [1.610s]
[INFO] OpenEMPI - Core ................................... SUCCESS [1:39.281s]
[INFO] OpenEMPI - OpenPIXPDQ Adapter ..................... FAILURE [48.469s]
[INFO] OpenEMPI - EJB Interface .......................... SKIPPED
[INFO] OpenEMPI - Web (Struts 2) ......................... SKIPPED
[INFO] OpenEMPI - Web (Server Side) ...................... SKIPPED
[INFO] OpenEMPI - Web (Client Side) ...................... SKIPPED
[INFO] OpenEMPI - EAR .................................... SKIPPED
[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 2:31.203s …我是C#的新手,我正在尝试使用C#访问SFTP(从Internet获取一些代码).我通过编写下面的代码尝试了这个.但我得到例外:
IPHostEntry hostInfo = Dns.GetHostByName(@"sftp://........");
// Get the IP address list that resolves to the host names contained in the
// Alias property.
IPAddress[] address = hostInfo.AddressList;
// Get the alias names of the addresses in the IP address list.
"捕获了SocketException:请求的名称有效,但未找到所请求类型的数据"
我发现了很多关于这一点,但没有理解.此外,我尝试使用Tamir.SharpSSH库连接SFTP,但获得相同的异常.
请建议一些解决方案.我的项目需要这个.
谢谢
我想在Map-Reduce程序中读取多个目录中的多个文件.我试图在main方法中给出文件名:
FileInputFormat.setInputPaths(conf,new Path("hdfs://localhost:54310/user/test/"));
FileInputFormat.setInputPaths(conf,new Path("hdfs://localhost:54310/Test/test1/"));
但它只是从一个文件中读取.
我该怎么做才能读取多个文件？
请提出解决方案.
谢谢.
我想通过SQOOP将大数据从EC2导入到Hive中.Hive中的导入数据将通过应用某种算法在Hive中处理,并将生成一些结果(以表格形式,仅在Hive中).生成的结果将仅通过SQOOP再次导出回Ec2.
我是Amazon Web Services的新手,希望借助AWS EMR实现此用例.我在本地机器上实现了它.
我已经阅读了一些与AWS EMR相关的链接,用于启动实例以及什么是EMR,工作原理等等...
1)EMR使用S3 Buckets,它保存输入和输出数据Hadoop Processing(以Objects的形式).--->我没有得到如何以S3上的对象形式存储数据(我的数据将是文件)
2)如前所述,我已经在Java中为我的用例实现了一个任务.因此,如果我创建我的程序的JAR并使用自定义JAR创建作业流.是否有可能像这样实现或者需要为此做一些额外的事情？
3)正如我在用例中所说,我希望在SQOOP的帮助下将结果导出回Ec2.EMR是否支持SQOOP？
- 编辑部分4)此外,我将每天/每周从SQL Server导入我的数据,因为我的SQL Server数据每天/每周更新.如果我想在S3上导入数据并将其提供给Hive那么我该怎么做？(因为Hive将其数据存储在/ user/hive/warehouse目录下的HDFS上).如何在HDFS中链接到S3和/ user/hive/warehouse目录.
请尽快回复我的回答.我想尽早做到这一点.
非常感谢.
我想对数据库(MS SQL Server)中的数据进行分析.那么我怎样才能在Sqoop/Hive的帮助下将这些数据带到HDFS上？是否可以使用Hive/Sqoop？请建议我怎么做.
谢谢.