我已经在这里发布了几天类似的问题了,但似乎我没有问正确的事情,所以请原谅我,如果我用XOR问题让你筋疲力尽:D.
要点 - 我有两个十六进制字符串,我想对这些字符串进行异或,以便每个字节分别进行异或(即每对数字分别进行异或).我想在python中这样做,我希望能够拥有不同长度的字符串.我将手动做一个例子来说明我的观点(我使用了代码环境,因为它允许我放入我希望它们的空间):
Input:
s1 = "48656c6c6f"
s2 = "61736b"
Encoding in binary:
48 65 6c 6c 6f = 01001000 01100101 01101100 01101100 01101111
61 73 6b = 01100001 01110011 01101011
XORing the strings:
01001000 01100101 01101100 01101100 01101111
01100001 01110011 01101011
00001101 00011111 00000100
Converting the result to hex:
00001101 00011111 00000100 = 0d 1f 04
Output:
0d1f04
因此,总而言之,我希望能够输入两个不同或相等长度的十六进制字符串(这些字符串通常是以十六进制编码的ASCII字母),并获得它们的XOR,使得每个字节分别进行异或.
非常新的火花和蜂巢和大数据和scala等等.我正在尝试编写一个简单的函数,它接受一个sqlContext,从s3加载一个csv文件并返回一个DataFrame.问题是这个特定的csv使用^ A(即\ 001)字符作为分隔符,数据集很大,所以我不能只对它做一个"s /\001 /,/ g".此外,这些字段可能包含逗号或我可能用作分隔符的其他字符.
我知道我正在使用的spark-csv包有一个分隔符选项,但是我不知道如何设置它以便它将\ 001作为一个字符读取而不是像转义的0,0和1那样.也许我应该使用hiveContext或其他东西？
我不是一个非常有经验的程序员，并且对scala还是很陌生。我处于一种必须编写供他人使用的库的情况下。我无法访问正在为此工作的人员的存储库，因此我不能简单地为他们编写一个类-它必须是库类型的东西，他们在构建自己的代码时可以将其包括在内。如何实现这一目标？我应该从我的源代码构建一个.jar，然后他们将能够以某种方式包括它。或者，除了直接向他们提供源代码之外，没有其他方法吗？
编辑:查看最后的编辑
首先,我在Amazon EMR上使用Spark 1.5.2并在我的postgres数据库中使用Amazon RDS.其次,我是Spark和Hadoop以及MapReduce这个世界的新手.
基本上我的问题与这个人一样: java.sql.SQLException:在将DataFrame加载到Spark SQL时找不到合适的驱动程序
所以加载了数据帧,但是当我尝试评估它时(做df.show(),其中df是数据帧)给出了错误:
java.sql.SQLException: No suitable driver found for jdbc:postgresql://mypostgres.cvglvlp29krt.eu-west-1.rds.amazonaws.com:5432/mydb
我应该注意到我开始像这样的火花:
spark-shell --driver-class-path /home/hadoop/postgresql-9.4.1207.jre7.jar
解决方案建议将jar传递到工作节点并以某种方式在它们上设置类路径,我真的不明白该怎么做.但后来他们说显然这个问题已经在Spark 1.4中修复了,我使用的是1.5.2,并且仍然存在这个问题,那么发生了什么？
编辑:看起来我解决了这个问题,但是我仍然不太明白为什么这个有效,而上面的事情没有,所以我想我现在的问题是为什么这样做:
spark-shell --driver-class-path /home/hadoop/postgresql-9.4.1207.jre7.jar --conf spark.driver.extraClassPath=/home/hadoop/postgresql-9.4.1207.jre7.jar --jars /home/hadoop/postgresql-9.4.1207.jre7.jar
解决这个问题？我刚刚将路径作为参数添加到它看起来更多的标志中.
例如,我有一个列表:
L = [1, 2, 2, 3, 1, 1, 6, 10, 1, 3]
我想删除列表中的所有1,以便我得到:
L = [2, 2, 3, 6, 10, 3]
我尝试迭代列表,然后删除元素,如果它等于我要删除的元素(在这种情况下为1),但事实证明你不能同时迭代和删除列表中的东西,因为它搞砸了数数.我想出的最好的事情就是构建一个新的列表L2,它不包含任何1,然后将其放入L中,但是有一个解决方案只涉及变异L吗？