我是用Eclipse和Egit很长一段时间,并决定尝试Intellij.
到目前为止一切都那么好,除了一件事......
我找不到一个简单的方法来从我的回购中恢复旧的提交!
在Eclipse中,标准过程是: Go to Git Workspace -> Click Show History(Right Click Project) -> RIght-Click on the commit I want to revert and press Revert Commit.
在Intellij我找不到任何等价物.尝试VCS -> Show Changes View但在那里我只能cherry pick提交.我也玩了恢复选项,VCS -> git但对changelist事物感到困惑(这可能隐藏答案,但我不明白它是如何工作的).
我仍然可以通过git revert <sha>从终端发出来恢复提交,但这是我首先尝试通过使用来自Intellij的git而不是纯终端来避免的.
有没有办法在Intellij中轻松完成恢复?
我不确定我是否正确使用upsert批量索引中的操作.
我的要求是:
{ "update": {"_id": "610946100"}}\n
{"doc": {"id":"610946100","uri":"/0/0/1/6/4/0/610946100.xml"}, "doc_as_upsert" : true}\n
Run Code Online (Sandbox Code Playgroud)
和网址是: http://localhost:9200/anIndex/aType/_bulk
我想我在文档中遗漏了一些内容,但我仍然无法找到如何进行此操作.
我想要的是在索引中创建上述文档或更新它(如果存在).
我responseEntity喜欢这个:
HttpHeaders requestHeaders = new HttpHeaders();
requestHeaders.setAccept(Arrays.asList(MediaType.APPLICATION_JSON));
requestHeaders.setContentType(MediaType.valueOf("text/plain;charset=UTF-8"));
HttpEntity requestEntity = new HttpEntity(jsonQuery, requestHeaders);
ResponseEntity<String> responseEntity = restTemplate.exchange(url, HttpMethod.POST, requestEntity, String.class);
//Not in UTF-8!!
logger.debug("result: " + responseEntity.getBody());
Run Code Online (Sandbox Code Playgroud)
但它没有编码UTF-8并产生这样的字符:Soci?.是否有可能UTF-8在restTemplate中以某种方式进行编码或添加编码?
我是新手,我正在尝试根据csv文件的某些字段创建一个distinct().count().
Csv结构(没有标题):
id,country,type
01,AU,s1
02,AU,s2
03,GR,s2
03,GR,s2
Run Code Online (Sandbox Code Playgroud)
加载.csv我输入:
lines = sc.textFile("test.txt")
Run Code Online (Sandbox Code Playgroud)
然后lines根据预期对返回的3 进行明确计数:
lines.distinct().count()
Run Code Online (Sandbox Code Playgroud)
但是我不知道如何根据我们说id和做出明确的计数country.
有时我需要从 Eclipse 合并南瓜。我知道我可以在命令行中完成此操作,但是在 Eclipse 中集成图形选项将非常有用。你知道该怎么做吗?
我有一份工作,负责处理所有文件并将其从一个目录复制到另一个目录。在执行此步骤之后,我想删除第一个目录,但是在尝试删除最后一个已处理(已复制)的文件时出现错误。结果是一个文件夹中只有一个无法删除的文件,而这个文件恰好是最后一个文件已处理的
My StepExecutionListener如下所示:
public class CleanUpListener implements StepExecutionListener {
private static final Logger logger = LoggerFactory.getLogger(CleanUpListener.class);
private String folderToBeDeleted;
@Override
public ExitStatus afterStep(StepExecution arg0) {
try {
logger.info("Deleting folder: " + folderToBeDeleted + " ...");
File file = new File(folderToBeDeleted);
logger.info("folder contains: " + file.listFiles().length);
FileUtils.deleteDirectory(file);
logger.info("Deleted folder: " + folderToBeDeleted);
} catch (IOException e) {
logger.error("Failed to delete folder: " + folderToBeDeleted + " with exception: " + e.toString());
}
return null;
}
@Override
public …Run Code Online (Sandbox Code Playgroud) 是否可以轻松地将export whole indexelasticsearch集群(所有存储的字段)保存在.csv文件中(可能是开箱即用的)?
我可以想到的替代方案是查询整个索引,然后转换结果......但我真的不喜欢解析一个巨大的想法,json因为它包含数百万个文档!
还有其他的方式或者想法可以实现出口吗?
我不知道如何使用 Spark 中的 python 将数据帧写入 Elasticsearch。我从这里开始遵循步骤。
这是我的代码:
# Read file
df = sqlContext.read \
.format('com.databricks.spark.csv') \
.options(header='true') \
.load('/vagrant/data/input/input.csv', schema = customSchema)
df.registerTempTable("data")
# KPIs
kpi1 = sqlContext.sql("SELECT * FROM data")
es_conf = {"es.nodes" : "10.10.10.10","es.port" : "9200","es.resource" : "kpi"}
kpi1.rdd.saveAsNewAPIHadoopFile(
path='-',
outputFormatClass="org.elasticsearch.hadoop.mr.EsOutputFormat",
keyClass="org.apache.hadoop.io.NullWritable",
valueClass="org.elasticsearch.hadoop.mr.LinkedMapWritable",
conf=es_conf)
Run Code Online (Sandbox Code Playgroud)
上面的代码给出了
原因:net.razorvine.pickle.PickleException:构造 ClassDict 时预期参数为零(对于 pyspark.sql.types._create_row)
我还从以下位置启动了脚本:
spark-submit --master spark://aggregator:7077 --jars ../jars/elasticsearch-hadoop-2.4.0/dist/elasticsearch-hadoop-2.4.0.jar /vagrant/scripts/aggregation.py以确保elasticsearch-hadoop已加载
我正在尝试匹配 type: 的日期ddmmyyyy
,例如:04072001
到目前为止我有这个:
^(?:(?:31(?:0?[13578]|1[02]))\1|(?:(?:29|30)(?:0?[1,3-9]|1[0-2])\2))(?:(?:1[6-9]|[2-9]\d)?\d{2})$|^(?:290?2\3(?:(?:(?:1[6-9]|[2-9]\d)?(?:0[48]|[2468][048]|[13579][26])|(?:(?:16|[2468][048]|[3579][26])00))))$|^(?:0?[1-9]|1\d|2[0-8])(?:(?:0?[1-9])|(?:1[0-2]))\4(?:(?:1[6-9]|[2-9]\d)?\d{2})$
与此处几乎相同,但没有分隔符( (\/|-|\.))
我是kubernetes的新手,我正在尝试在自己的PC中添加PVC statefulset。PV和PVC如下所示:
NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE
neo4j-backups 5Gi RWO Retain Bound default/backups-claim manual 1h
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
backups-claim Bound neo4j-backups 5Gi RWO manual 51m
Run Code Online (Sandbox Code Playgroud)
基本上,我希望有状态集的所有Pod都可以看到该卷的内容,因为备份文件存储在该卷中。
可以在这里找到使用过的Statefulset
Minikube版本:
minikube version: v0.25.2
Kubernetes版本:GitVersion:"v1.9.4"
apache-spark ×2
git ×2
pyspark ×2
spring ×2
eclipse ×1
egit ×1
kubernetes ×1
merge ×1
python ×1
regex ×1
spring-batch ×1
squash ×1