小编Ara*_*mar的帖子

将 Hive 行对象转换为整数 Spark

我正在尝试将配置单元列的输出转换为键值对。

sqlContext = HiveContext(sc)
id1 = sqlContext.sql("select instance_id from temp_table")
pairs1 = id1.map(lambda s: (int(s), 'Configuration'))
Run Code Online (Sandbox Code Playgroud)

我收到以下错误

TypeError: int() argument must be a string or a number, not 'Row'
Run Code Online (Sandbox Code Playgroud)

我不确定如何将 Hive Row 对象类型转换为整数,以便我可以对其应用映射函数

例如, id1 是一个数据框,当我对其应用collect() 时,它会返回

[Row(_c0=12616821)]
Run Code Online (Sandbox Code Playgroud)

我需要从行对象中提取值。请告诉我是否有与此问题相关的解决方案

python hive apache-spark apache-spark-sql pyspark

0
推荐指数
1
解决办法
2919
查看次数

标签 统计

apache-spark ×1

apache-spark-sql ×1

hive ×1

pyspark ×1

python ×1