小编taz*_*azo的帖子

我在Windows机器上遇到了我的git问题.我总是有一些在每个repo中修改的git文件,显示为修改的文件是相同的.

如果我克隆一个新的repo并使用tortoisegit提交我看到一些文件被修改,即使我从未触及过repo中的单个文件."gitstatus"并没有显示任何修改

任何帮助表示赞赏.谢谢

通过node.js模块发送的HTTPS请求与XMLHttpRequest之间有什么区别？

我正在尝试向amazon aws发送HTTPS GET请求以从javascript(XMLHttpRequest)获取安全令牌,并且它始终失败,并且"来源控制 - 允许 - 来源"不允许"来源http:// my_ip ",但是如果我通过node.js模块发送相同的HTTPS GET请求它工作正常.

我对此感到困惑,因为如果服务器确实支持CORS,那么来自任何地方的任何请求都应该失败,但是它通过node.js,但不是通过XMLHttpRequest.

这失败

var url_ = "https://sts.amazonaws.com/?Action=GetSessionToken" +
            "&DurationSeconds=3600" +
            "&AWSAccessKeyId=XXXXXXXXXXXXXXX" +
            "&Version=2011-06-15" +
            "&Timestamp=" + encode(timestamp) +
            "&Signature=" + encode(hash) +
            "&SignatureVersion=2&SignatureMethod=HmacSHA256";

// Simple GET request
$.get(url_, function(data) {
    alert("response: " + data);
});

这个工作

var https = require('https');
var options = {
    host    : 'sts.amazonaws.com',
    method  : 'GET',
    path    : '/?Action=GetSessionToken' +
              '&DurationSeconds=3600' +
              '&AWSAccessKeyId=XXXXXXXXXXXXXX' +
              '&Version=2011-06-15' +
              '&' + timestamp +
              '&' + signature +
              '&SignatureVersion=2&SignatureMethod=HmacSHA256' …

我正在尝试为我的hadoop MR作业编写一些单元测试并获得以下异常.这是我第一次使用MRUnit,所以我不确定这里发生了什么.

java.lang.IncompatibleClassChangeError: Found class org.apache.hadoop.mapreduce.TaskInputOutputContext, but interface was expected
    at org.apache.hadoop.mrunit.mapreduce.mock.MockContextWrapper.createCommon(MockContextWrapper.java:53)
    at org.apache.hadoop.mrunit.mapreduce.mock.MockMapContextWrapper.create(MockMapContextWrapper.java:70)
    at org.apache.hadoop.mrunit.mapreduce.mock.MockMapContextWrapper.<init>(MockMapContextWrapper.java:62)
    at org.apache.hadoop.mrunit.mapreduce.MapDriver.run(MapDriver.java:217)
    at org.apache.hadoop.mrunit.MapDriverBase.runTest(MapDriverBase.java:150)
    at org.apache.hadoop.mrunit.TestDriver.runTest(TestDriver.java:137)

我的实际代码看起来很简单

private MapDriver<Text, Text, Text, Text> mapDriver = MapDriver.newMapDriver(mapper);
private ReduceDriver<Text, Text, Text, Text> reduceDriver = ReduceDriver.newReduceDriver(reducer);
private MapReduceDriver<Text, Text, Text, Text, Text, Text> driver = MapReduceDriver.newMapReduceDriver(mapper, reducer);

@Test
public void testMapper() {
    mapDriver.withInput(new Text("1"), new Text("Line 1"));
    mapDriver.withOutput(new Text("1"), new Text("Line 1"));
    mapDriver.runTest();
}

我正在尝试在AWS上自动化一些东西,我正在使用Java API来执行此操作.我能够启动我想要的实例数,但是我无法找到能够获取实例当前状态的正确类或方法(如运行,停止等).

我试过这个

DescribeInstanceStatusRequest describeInstance = new DescribeInstanceStatusRequest().withInstanceIds(instances.get(i).getInstanceId()); DescribeInstanceStatusResult attr = ec2.describeInstanceStatus(describeInstance); List<InstanceStatus> state = attr.getInstanceStatuses();

不确定为什么实例状态是一个列表

有人可以指点我正确的API调用.

提前致谢

我正在为Cassandra寻找一个golang客户端,并提供单元测试支持.我找到了一些类似的库

1. Goosie(不再维护)
2. gocql(任何没有测试支持的客户端库对我来说都没用)
3. gocassa(与上述相同)

有人可以建议我任何有我想要的客户端库吗？

我正在尝试训练分类器，我的训练日期大约是870,000条记录，并且在调用classifier.fit（X，Y）一段时间后，python脚本总是被杀死。除了消息“ Killed：9”，我在控制台中什么都没有看到。我在具有16GB内存的macbook pro上运行此程序，训练数据很小90 MB。

在这方面的任何帮助表示赞赏。

码：

from sklearn import svm
from sklearn.feature_extraction import DictVectorizer

# train_data is list of dictionaries like
# train_data = [{0:"..", 1:"..", 2:".."}, {...}]
# train_labels = [1, 2, 3, ..]
vect = DictVectorizer(sparse=False)
X = vect.fit_transform(train_data)
Y = train_labels

print "Training model.."
clf = svm.SVC(kernel='linear')
clf.fit(X, Y) # never goes beyond this line
print "Done"
clf.predict(X_test)

输出：

Training model..
Killed: 9

我尝试将数据集切成两半，但是没有运气

我正在运行一个火花流工作,当我为我的火花流工作设置应用程序名称(一个更好的可读字符串)时,它不会出现在运行应用程序UI的Hadoop中.我总是在Hadoop UI中看到类名作为名称

val sparkConf = new SparkConf().setAppName("BetterName")

如何在Spark中设置作业名称,以便它出现在这个Hadoop UI中？

运行应用程序的Hadoop URL是 - http:// localhost:8088/cluster/apps/RUNNING

[更新] 看起来这只是Spark Streaming作业的问题,但是找不到如何修复它的解决方案.

我正在尝试使用YARN REST API来提交spark-submit作业,我通常通过命令行运行.

我的命令行spark-submit看起来像这样

JAVA_HOME=/usr/local/java7/ HADOOP_CONF_DIR=/etc/hadoop/conf /usr/local/spark-1.5/bin/spark-submit \
--driver-class-path "/etc/hadoop/conf" \
--class MySparkJob \
--master yarn-cluster \
--conf "spark.executor.extraClassPath=/usr/local/hadoop/client/hadoop-*" \
--conf "spark.driver.extraClassPath=/usr/local/hadoop/client/hadoop-*" \
spark-job.jar --retry false --counter 10

通过纱线REST API文档阅读https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html#Cluster_Applications_APISubmit_Application,我试图创建的JSON有效载荷POST看上去像

{
  "am-container-spec": {
    "commands": {
      "command": "JAVA_HOME=/usr/local/java7/ HADOOP_CONF_DIR=/etc/hadoop/conf org.apache.hadoop.yarn.applications.distributedshell.ApplicationMaster  --jar spark-job.jar --class MySparkJob --arg --retry --arg false --arg --counter --arg 10"
    }, 
    "local-resources": {
      "entry": [
        {
          "key": "spark-job.jar", 
          "value": {
            "resource": "hdfs:///spark-job.jar", 
            "size": 3214567, 
            "timestamp": 1452408423000, 
            "type": "FILE", 
            "visibility": "APPLICATION"
          }
        }
      ]
    }
  }, 
  "application-id": "application_11111111111111_0001", …

我有不同的用例,而不仅仅是使用csv阅读器并为其提供用于解析的CSV文件.我需要一个java库,我可以从CSV文件中提供一行,它应该能够解析它.

任何可用的java库都能做到吗？(在发布此内容之前,我尝试了谷歌一段时间.).我发现了来自apache的opencsv,在它的java文档中它说它有一个名为CSVParser的API,它接受一行并解析它,但是这个API并不存在于二进制文件中.

我正在尝试这种依赖

<dependency> 
    <groupId>net.sf.opencsv</groupId> 
    <artifactId>opencsv</artifactId> 
    <version>2.0</version> 
</dependency> 

并尝试初始化CSVParser.它不起作用.我不确定是否有不同的或新版本的opencsv,我想念,请告诉我