小编use*_*704的帖子

如何为复杂的json文档定义avro架构?

我有一个JSON文档,我想转换为Avro并需要为此目的指定一个模式.这是我想要定义avro架构的JSON文档:

{
 "uid": 29153333,
 "somefield": "somevalue",
 "options": [
   {
     "item1_lvl2": "a",
     "item2_lvl2": [
       {
         "item1_lvl3": "x1",
         "item2_lvl3": "y1"
       },
       {
         "item1_lvl3": "x2",
         "item2_lvl3": "y2"
       }
     ]
   }
 ]
}
Run Code Online (Sandbox Code Playgroud)

我能够为非复杂类型定义模式,但不能为复杂的"选项"字段定义模式:

{
  "namespace" : "my.com.ns",
  "type" :  "record",
  "fields" : [
     {"name": "uid", "type": "int"},
     {"name": "somefield", "type": "string"}
     {"name": "options", "type": .....}
  ]
}
Run Code Online (Sandbox Code Playgroud)

谢谢您的帮助!

serialization json mapreduce avro

8
推荐指数
2
解决办法
2万
查看次数

将逗号分隔的键值对字符串转换为字典

我需要将逗号分隔的字符串与由冒号分隔的键值对转换为字典,其中值应该是浮点数.我能够做到这一点来得到一个字典:

>>> s = 'us:0.9,can:1.2,mex:0.45'
>>> dict(x.split(':') for x in s.split(','))
Run Code Online (Sandbox Code Playgroud)

这导致:

{'us': '0.9', 'can': '1.2', 'mex': '0.45'}
Run Code Online (Sandbox Code Playgroud)

但不知道如何强制该值不是一个字符串,即我期待这个:

{'us': 0.9, 'can': 1.2, 'mex': 0.45}
Run Code Online (Sandbox Code Playgroud)

如何强制值浮动?

谢谢!

python dictionary python-3.x

4
推荐指数
1
解决办法
1077
查看次数

列表基于另一个较短列表排序

我需要根据另一个列表中元素的顺序对列表进行排序,这个列表更短,即没有将所有元素与我正在排序的列表进行比较.使用时遇到此错误sort(key=short_list):

long_list = ['y', 'z', 'x', 'c', 'a', 'b']
short_list = ['b', 'c', 'a']
long_list.sort(key=short_list.index)

ValueError: 'x' is not in list
Run Code Online (Sandbox Code Playgroud)

是否有另一种方法来对long_list结果进行排序,以list维持顺序,short_list后面跟着元素的顺序long_list?

['b', 'c', 'a', 'y', 'z', 'x']
Run Code Online (Sandbox Code Playgroud)

python python-3.x

4
推荐指数
2
解决办法
89
查看次数

不同 HTTP 响应代码的示例 http url

我需要针对具有不同 HTTP 响应代码的 URL 测试我的脚本。如何获取响应代码 300、303 或 307 等的示例/示例现有 URL?

谢谢!

http response http-status-codes

3
推荐指数
1
解决办法
1081
查看次数

创建分区视图时出现 Hive 错误

我有一个“日志”表,它目前按年、月和日进行分区。我想在“日志”表的顶部创建一个分区视图,但遇到了这个错误:

hive> CREATE VIEW log_view PARTITIONED ON (pagename,year,month,day) AS SELECT pagename, year,month,day,uid,properties FROM log; 

FAILED: SemanticException [Error 10093]: Rightmost columns in view output do not match PARTITIONED ON clause
Run Code Online (Sandbox Code Playgroud)

创建分区视图的正确方法是什么?

apache hadoop hive hdfs hiveql

0
推荐指数
1
解决办法
3769
查看次数