小编Key*_*r00的帖子

如何在java中将String转换/解析为char?

如何将StringJava中的值解析为char类型?

我知道怎么做到int和double(例如Integer.parseInt("123")),是否有一个字符串和字符类?

java string parsing char

194
推荐指数
6
解决办法
88万
查看次数

basedir 必须是绝对的:?/.ivy2/local

我在完全绝望的状态下写在这里......

我有 2 个用户:

  • 1 个本地用户,在 Linux 中创建。工作 100% 正常,字数工作完美。Kerberized 集群。有效票。
  • 1 个 Active Directory 用户,可以登录,但 pyspark 指令(字数相同)失败。与上述相同的 kdc 票证。

线程“main”中的异常 java.lang.IllegalArgumentException: basedir must be absolute: ?/.ivy2/local at org.apache.ivy.util.Checks.checkAbsolute(Checks.java:48) at org.apache.ivy.plugins .repository.file.FileRepository.setBaseDir(FileRepository.java:135) 在 org.apache.ivy.plugins.repository.file.FileRepository.(FileRepository.java:44) 在 org.apache.spark.deploy.SparkSubmitUtils$.createRepoResolvers (SparkSubmit.scala:943) 在 org.apache.spark.deploy.SparkSubmitUtils$.buildIvySettings(SparkSubmit.scala:1035) 在 org.apache.spark.deploy.SparkSubmit$$anonfun$2.apply(SparkSubmit.scala:295)在 org.apache.spark.deploy.SparkSubmit$$anonfun$2.apply(SparkSubmit.scala:295) 在 scala.Option.getOrElse(Option.scala:121) 在 org.apache.spark.deploy.SparkSubmit$.prepareSubmitEnvironment(火花提交。scala:294) 在 org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:153) 在 org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:119) 在 org.apache.spark .deploy.SparkSubmit.main(SparkSubmit.scala)

我正在运行的代码。超级简单。

import findspark
findspark.init()
from pyspark import SparkConf, SparkContext
conf = SparkConf().setMaster("yarn")
sc = SparkContext(conf=conf)
Run Code Online (Sandbox Code Playgroud)

它以上述错误的最后一条指令中的错误结束(参见异常)。

?/.ivy2/local -> 这就是问题所在,但我不知道发生了什么:(。

对于 Linux 用户,它可以完美运行......但是对于本地系统中不存在但具有 /home/userFolder 的 AD 用户......我有这个问题:(

请帮忙...我已经到了疯狂的地步...我已经搜索了互联网的每个角落,但我还没有找到解决这个问题/错误的任何方法:( …

ivy apache-spark pyspark jupyterhub

11
推荐指数
2
解决办法
5241
查看次数

jackson-dataformat-csv 不会忽略未知属性

尝试使用 jackson-dataformat-csv 解析 .csv 文件。文件包含许多与我的程序无关的列。

试图@JsonIgnoreProperties(ignoreUnknown = true)在我的数据类上使用and csvMapper.disable(DeserializationFeature.FAIL_ON_UNKNOWN_PROPERTIES),但都不起作用,并且应用程序抛出异常:

com.fasterxml.jackson.databind.RuntimeJsonMappingException: Too many entries: expected at most 2 (value #2 (17 chars) "policy_issue_date")
 at [Source: (com.fasterxml.jackson.dataformat.csv.impl.UTF8Reader); line: 1, column: 37]

    at com.fasterxml.jackson.databind.MappingIterator.next(MappingIterator.java:194)
    at pl.polins.readers.oc.OcPolicyCsvReader.readNext(OcPolicyCsvReader.kt:25)
    at pl.polins.readers.oc.OcPolicyCsvReaderTest.should read PolicyCsv from .csv file(OcPolicyCsvReaderTest.groovy:19)
Caused by: com.fasterxml.jackson.dataformat.csv.CsvMappingException: Too many entries: expected at most 2 (value #2 (17 chars) "policy_issue_date")
 at [Source: (com.fasterxml.jackson.dataformat.csv.impl.UTF8Reader); line: 1, column: 37]
    at com.fasterxml.jackson.dataformat.csv.CsvMappingException.from(CsvMappingException.java:23)
    at com.fasterxml.jackson.dataformat.csv.CsvParser._reportCsvMappingError(CsvParser.java:1210)
    at com.fasterxml.jackson.dataformat.csv.CsvParser._handleExtraColumn(CsvParser.java:965)
    at com.fasterxml.jackson.dataformat.csv.CsvParser._handleNextEntry(CsvParser.java:826)
    at com.fasterxml.jackson.dataformat.csv.CsvParser.nextToken(CsvParser.java:580)
    at com.fasterxml.jackson.databind.deser.BeanDeserializer._deserializeUsingPropertyBased(BeanDeserializer.java:418)
    at com.fasterxml.jackson.databind.deser.BeanDeserializerBase.deserializeFromObjectUsingNonDefault(BeanDeserializerBase.java:1266)
    at …
Run Code Online (Sandbox Code Playgroud)

csv kotlin jackson-dataformat-csv

4
推荐指数
3
解决办法
8013
查看次数

kubernetes容器上禁止cronjobs.batch

我是kubernetes管理的新手。尝试列出和设置新的cronjobs时,其中一位用户收到以下错误:

来自服务器的错误(禁止):禁止cronjobs.batch:用户无法在名称空间中列出cronjobs.batch

创建此用户时的角色:

kind: Role
apiVersion: rbac.authorization.k8s.io/v1beta1
metadata:
  namespace: <user>
  name: <user>-role
rules:
- apiGroups: ["", "extensions", "apps"]
  resources: ["*"]
  verbs: ["*"]
Run Code Online (Sandbox Code Playgroud)

创建此用户时的角色绑定:

kind: RoleBinding
apiVersion: rbac.authorization.k8s.io/v1beta1
metadata:
  name: <user>-role-binding
  namespace: <user>
subjects:
- kind: User
  name: <user>
  apiGroup: ""
roleRef:
  kind: Role
  name: <user>-role
  apiGroup: ""
Run Code Online (Sandbox Code Playgroud)

可能是什么问题?

kubernetes

3
推荐指数
1
解决办法
2555
查看次数

关于map函数的方法参考,当键的类型为String时编译错误

背景:

我想computeIfAbsent在a上使用该功能Map.但是,当我使用时,我收到编译错误

  • 方法参考和关键是一个String.

我使用时没有编译错误

  • 方法参考和关键是一个Integer.
  • lambda和关键是一个String.

插图:

以下陈述是合法的:

Map<Integer, List<Long>> map = new HashMap<>();
Integer key = Integer.valueOf(0);
Long value = Long.valueOf(2);
map.computeIfAbsent(key, ArrayList::new).add(value); // No compilation error
Run Code Online (Sandbox Code Playgroud)

以下陈述是非法的:

Map<String, List<Long>> map = new HashMap<>();
String key = "myKey";
Long value = Long.valueOf(2);
map.computeIfAbsent(key, ArrayList::new).add(value); // Compilation error: The type ArrayList does not define ArrayList(String) that is applicable here
Run Code Online (Sandbox Code Playgroud)

以下陈述是合法的 …

java lambda compiler-errors hashmap method-reference

3
推荐指数
1
解决办法
123
查看次数

Spark 不推送过滤器(PushedFilters 数组为空)

介绍

我注意到我们项目中的所有推送过滤器都不起作用。它解释了为什么执行时间受到影响,因为它读取了数百万次读取,而本应将其减少到数千次。为了调试问题,我编写了一个小测试,它读取一个 CSV 文件,过滤内容(PushDown Filter)并返回结果。

它不适用于 CSV,因此我尝试读取镶木地板文件。它们都不起作用。

数据

people.csv文件具有以下结构:

first_name,last_name,city  // header
FirstName1,LastName1,Bern // 1st row
FirstName2,LastName2,Sion // 2nd row
FirstName3,LastName3,Bulle // 3rd row
Run Code Online (Sandbox Code Playgroud)

注意:镶木地板文件具有相同的结构

读取 CSV 文件

为了重现这个问题,我编写了一个最小的代码来读取一个 csv 文件并且应该只返回过滤后的数据。

读取 csv 文件并打印物理计划:

Dataset<Row> ds = sparkSession.read().option("header", "true").csv(BASE_PATH+"people.csv");
ds.where(col("city").equalTo("Bern")).show();
ds.explain(true);
Run Code Online (Sandbox Code Playgroud)

物理计划:

+-----------+---------+----+
|名字|姓氏|城市|
+-----------+---------+----+
|FirstName1|LastName1|Bern|
+------------+---------+----+

== 解析的逻辑计划 == 关系 [first_name#10,last_name#11,city#12] csv

== 分析的逻辑计划 == first_name: string, last_name: string, city: string Relation[first_name#10,last_name#11,city#12] csv

== 优化逻辑规划 == 关系[first_name#10,last_name#11,city#12] csv

== 物理计划 == *(1) FileScan csv [first_name#10,last_name#11,city#12] 批处理:false,格式:CSV,位置:InMemoryFileIndex[file:people.csv],PartitionFilters:[],PushedFilters : …

java csv apache-spark parquet

3
推荐指数
1
解决办法
1186
查看次数

使用@Qualifier的@Bean声明不起作用

可以说我有一个配置类(JmsQueueConfig,见下文).在本课程中,我想为整个应用程序配置多个队列.对于一个队列,没有问题.但是,当我添加第二个队列并尝试从服务(MemberService)使用其中一个队列时,Spring-boot告诉我

com.example.notification.application.jms.JmsEventPublisher中构造函数的参数1需要一个bean,但是找到了2个: - queueAccountToNotification:由类路径资源中的方法'queueAccountToNotification'定义[com/example/notification/application/jms/JmsQueueConfig.class] - queueNotificationToAccount:由类路径资源[com/example/notification/application/jms/JmsQueueConfig.class]中的方法'queueNotificationToAccount'定义

行动:

考虑将其中一个bean标记为@Primary,更新使用者以接受多个bean,或使用@Qualifier标识应该使用的bean

这是我的Config-Class:

@Configuration
@EnableJms
@ImportAutoConfiguration(classes = {
        JmsAutoConfiguration.class,
        ActiveMQAutoConfiguration.class
})
public class JmsQueueConfig {

   @Value("${APP_QUEUE_ACCOUNT_TO_NOTIFICATION}")
   private String queueAccountToNotificationName;

   @Value("${APP_QUEUE_NOTIFICATION_TO_ACCOUNT}")
   private String queueNotificationNameToAccount;

   @Bean
   @Qualifier("q1")
   public Queue queueAccountToNotification() {
      return new ActiveMQQueue(queueAccountToNotificationName);
   }

   @Bean
   @Qualifier("q2")
   public Queue queueNotificationToAccount() {
      return new ActiveMQQueue(queueNotificationNameToAccount);
   }

   @Bean
   public MessageConverter jacksonJmsMessageConverter() {
      MappingJackson2MessageConverter converter = new MappingJackson2MessageConverter();
      converter.setTargetType(MessageType.TEXT);
      converter.setTypeIdPropertyName("_type");
      return converter;
   }

   @Bean
   @Qualifier("p1")
   public EventPublisher eventPublisher(JmsTemplate jmsTemplate) {
      return new JmsEventPublisher(jmsTemplate, new ActiveMQQueue(queueAccountToNotificationName));
   }

   @Bean
   public MessageConverter …
Run Code Online (Sandbox Code Playgroud)

java spring dependency-injection spring-boot

1
推荐指数
1
解决办法
3148
查看次数