小编vik*_*ana的帖子

将虚拟数据插入 Cassandra Counter 表

我知道我不能在计数器表中插入,但是如果表为空如何使用更新,更新语句需要k_where

我尝试了很多更新语句,但不希望任何解决此问题的示例将受到高度赞赏

cassandra

2
推荐指数
1
解决办法
1409
查看次数

Apache Spark案例在不同的列上具有多个when子句

给出以下结构:

val df = Seq("Color", "Shape", "Range","Size").map(Tuple1.apply).toDF("color")

val df1 = df.withColumn("Success", when($"color"<=> "white", "Diamond").otherwise(0))
Run Code Online (Sandbox Code Playgroud)

我想再写一个WHEN条件,上面的条件是大小> 10,并且Shape列的值为Rhombus,然后将“ Diamond”值插入该列,否则为0。我尝试如下所示,但失败了

val df1 = df.withColumn("Success", when($"color" <=> "white", "Diamond").otherwise(0)).when($"size">10)
Run Code Online (Sandbox Code Playgroud)

请建议我仅使用scala的dataframe选项。带有sqlContext的Spark-SQL对我没有帮助。

谢谢 !

hadoop apache-spark apache-spark-sql

2
推荐指数
2
解决办法
5498
查看次数

向pyspark中的数据帧添加唯一的连续行号

我想在 pyspark 中将唯一的行号添加到我的数据框中,并且不想使用 monotonicallyIncreasingId 和 partitionBy 方法。我认为这个问题可能与之前提出的类似问题重复,仍在寻找一些建议,无论我的做法是否正确。以下是我的代码片段:我有一个包含以下输入记录集的 csv 文件:

1,VIKRANT SINGH RANA    ,NOIDA   ,10000
3,GOVIND NIMBHAL        ,DWARKA  ,92000
2,RAGHVENDRA KUMAR GUPTA,GURGAON ,50000
4,ABHIJAN SINHA         ,SAKET   ,65000
5,SUPER DEVELOPER       ,USA     ,50000
6,RAJAT TYAGI           ,UP      ,65000
7,AJAY SHARMA           ,NOIDA   ,70000
8,SIDDHARTH BASU        ,SAKET   ,72000
9,ROBERT                ,GURGAON ,70000
Run Code Online (Sandbox Code Playgroud)

我已将此 csv 文件加载到数据框中。

PATH_TO_FILE="file:///u/user/vikrant/testdata/EMP_FILE.csv"

emp_df = spark.read.format("com.databricks.spark.csv") \
  .option("mode", "DROPMALFORMED") \
  .option("header", "true") \
  .option("inferschema", "true") \
  .option("delimiter", ",").load(PATH_TO_FILE)

+------+--------------------+--------+----------+
|emp_id|            emp_name|emp_city|emp_salary|
+------+--------------------+--------+----------+
|     1|VIKRANT SINGH RAN...|NOIDA   |     10000|
|     3|GOVIND NIMBHAL   ...|DWARKA  |     92000| …
Run Code Online (Sandbox Code Playgroud)

csv dataframe rdd pyspark

1
推荐指数
1
解决办法
1万
查看次数

使用 Apache POI 向 Excel 工作表添加自定义颜色

任何人都可以解释如何使用(rgb 值或十六进制值)将自定义颜色添加到 Excel 表(在前景或背景中)使用 Apche poi 中的 Cellstyle 到 Excel 表(XSSF 工作簿)?

java apache-poi

1
推荐指数
1
解决办法
4618
查看次数

执行 Oracle 存储过程时遇到奇怪的问题

我在执行 Oracle 存储过程时遇到了一个奇怪的问题。在将选定的数据插入另一个表时,我能够选择令人不安的数据。

以下是导致问题的查询。

BEGIN
EXECUTE IMMEDIATE
'INSERT INTO STG_MEMBER_MONTH_1
(
 MEMBER_ID
,EMPLOYER_GROUP_ID
,MEMBER_BIRTH_DATE
,SPAN_FROM_DATE
,GROUP_ID_FINAL
,GROUP_SIZE
,NAME_TO_BE_USED
,MEM_DOB
,MM
,MEMBER_AGE_FINAL
,ELIG_YEAR
,ELIG_MONTH
,AGE_BAND
)
WITH CTE_Member_Month_Group_Id_Final AS (
SELECT
 a.MEMBER_ID
,a.EMPLOYER_GROUP_ID
,a.MEMBER_BIRTH_DATE
,a.SPAN_FROM_DATE
b.ACCOUNT_NUM as GROUP_ID_FINAL
from STG_MEMBER_MONTH_2 a LEFT JOIN
(SELECT DISTINCT GRP_ID,ACCOUNT_NUM from ACCOUNT_MAPPING)b
ON a.EMPLOYER_GROUP_ID= b.GRP_ID)

,CTE_Member_Month_Group_Name as (
    SELECT a.*,b.GROUP_SIZE,b.GROUP_NAME as NAME_TO_BE_USED 
    from CTE_Member_Month_Group_Id_Final  a
    LEFT JOIN APP_CALENDAR b
    ON a.GROUP_ID_FINAL= b.GROUP_ID
)
,CTE_Max_DOB AS (
     SELECT a.MEMBER_ID,b.MEMBER_BIRTH_DATE AS MEM_DOB from
       (SELECT MEMBER_ID,max(SPAN_FROM_DATE) as SPAN_FROM_DATE …
Run Code Online (Sandbox Code Playgroud)

oracle stored-procedures

1
推荐指数
1
解决办法
53
查看次数