小编Whi*_*ler的帖子

我试图让EhCache配置为在我启用Apache Shiro的Web服务中处理授权缓存.目前我收到以下异常:

org.apache.shiro.cache.CacheException:net.sf.ehcache.CacheException:另一个未命名的CacheManager已存在于同一个VM中.请为配置中的每个CacheManager提供唯一的名称,或执行以下操作之一:
1.使用其中一个CacheManager.create()静态工厂方法重用相同名称的相同CacheManager,或者在必要时创建一个
.2.在创建之前关闭先前的cacheManager新的同名.

我的shiro.ini看起来像:
[main]
...
cacheManager = org.apache.shiro.cache.ehcache.EhCacheManager cacheManager.cacheManagerConfigFile = classpath:ehcache.xml
securityManager.cacheManager = $ cacheManager

从这个StackOverflow帖子看来,使用Spring的人通过强制CacheManager成为一个单例来解决这个问题:另一个未命名的CacheManager已经存在于同一个VM中(ehCache 2.5).

有没有人知道没有使用Spring初始化的解决方法(我在dropwizard框架内工作而不需要使用Spring)？是否有某种方式从shiro.ini强制执行单例配置？

先感谢您!

我想知道将换行符分隔的 JSON 文件读入数据帧的最佳实践是什么。关键的是，每个记录中的（必填）字段之一映射到不能保证具有相同子字段的对象（即模式在所有记录中不统一）。

例如，输入文件可能如下所示：

{"id": 1, "type": "foo", "data": {"key0": "foo", "key2": "meh"}}
{"id": 2, "type": "bar", "data": {"key2": "poo", "key3": "pants"}}
{"id": 3, "type": "baz", "data": {"key3": "moo"}}

在这种情况下，字段id、type和data将出现在所有记录中，但映射到的结构data将具有异构模式。

我有两种方法来处理data列的非均匀性：

1. 让 spark 推断架构：

df = spark.read.options(samplingRatio=1.0).json('s3://bucket/path/to/newline_separated_json.txt')

这种方法的一个明显问题是需要对每条记录进行采样以确定将成为最终模式的字段/模式的超集。鉴于数据集只有数百万条记录，这可能会非常昂贵？或者...

2. 告诉 spark 将数据字段强制转换为 JSON 字符串，然后只拥有一个包含三个顶级字符串字段的架构，id, type, data。在这里，我不确定继续的最佳方式。例如，我假设只是将data字段声明为字符串，如下所示，将不起作用，因为它没有显式地执行等效于json.dumps?

schema = StructType([
    StructField("id", StringType(), true),
    StructField("type", StringType(), true),
    StructField("data", StringType(), true)
])
df = …