小编Shu*_*ail的帖子

Spark:如何根据时差汇总/减少记录?

我有来自车辆的CSV时间序列数据,其中包含以下信息:

  • 旅行编号
  • 时间戳记
  • 速度

数据如下所示:

trip-id | timestamp  | speed

001     | 1538204192 | 44.55
001     | 1538204193 | 47.20 <-- start of brake
001     | 1538204194 | 42.14
001     | 1538204195 | 39.20
001     | 1538204196 | 35.30
001     | 1538204197 | 32.22 <-- end of brake
001     | 1538204198 | 34.80
001     | 1538204199 | 37.10
...
001     | 1538204221 | 55.30
001     | 1538204222 | 57.20 <-- start of brake
001     | 1538204223 | 54.60
001     | …
Run Code Online (Sandbox Code Playgroud)

dataframe apache-spark rdd apache-spark-sql pyspark

5
推荐指数
2
解决办法
328
查看次数

匹配字符串中的 2 个字符 - SQL

我怎样才能查询一个Names人的列来只得到那些正好 包含2的名字“a”

我熟悉使用的%符号,LIKE但即使a在我写的时候也能找到所有名字%a,但我只需要找到那些正好有2 个字符的名字。

请解释 - 提前致谢

表名:“人”

列名:“姓名、年龄、性别”

sql oracle

3
推荐指数
1
解决办法
8134
查看次数

"运算符"的C++模糊重载

我在这里读了几篇关于这种错误的帖子,但我无法解决这个问题......很快我就定义了运算符int和函数f,无法编译.我测试了几件事我无法解决问题....谢谢

ex1.cpp: In function ‘int main(int, char**)’:
ex1.cpp:35:13: error: ambiguous overload for ‘operator+’ in ‘a + 4’
ex1.cpp:35:13: note: candidates are:
ex1.cpp:35:13: note: operator+(int, int) <built-in>
In file included from ex1.cpp:3:0:
Fraccao.h:41:9: note: Fraccao operator+(const Fraccao&, const Fraccao&)
ex1.cpp:38:13: error: ambiguous overload for ‘operator+’ in ‘4 + a’
ex1.cpp:38:13: note: candidates are:
ex1.cpp:38:13: note: operator+(int, int) <built-in>
In file included from ex1.cpp:3:0:
Fraccao.h:41:9: note: Fraccao operator+(const Fraccao&, const Fraccao&)
Run Code Online (Sandbox Code Playgroud)

班级:

class Fraccao {
    int numerador;
    int denominador;

public:
    Fraccao(int num …
Run Code Online (Sandbox Code Playgroud)

c++ operator-overloading operators

3
推荐指数
3
解决办法
4万
查看次数

根据条件进行 Spark 聚合计数

我正在尝试对数据框进行分组,然后在使用计数聚合行时,我想在计数之前对行应用条件。
这是一个例子:

val test=Seq(("A","X"),("A","X"),("B","O"),("B","O"),("c","O"),("c","X"),("d","X"),("d","O")).toDF
test.show
+---+---+
| _1| _2|
+---+---+
|  A|  X|
|  A|  X|
|  B|  O|
|  B|  O|
|  c|  O|
|  c|  X|
|  d|  X|
|  d|  O|
+---+---+
Run Code Online (Sandbox Code Playgroud)

在此示例中,当此处的值 ='X'
是预期结果时,我想按列 _1 对列 _2 的计数进行分组:

+---+-----------+
| _1| count(_2) |
+---+-----------+
|  A|  2        |
|  B|  0        |
|  c|  1        |
|  d|  1        |
+---+-----------+
Run Code Online (Sandbox Code Playgroud)

scala apache-spark

3
推荐指数
1
解决办法
9525
查看次数

Pyspark数据帧:在对另一列进行分组时对列进行求和

我有一个问题要问,我有一个如下的数据框

In [94]: prova_df.show()


order_item_order_id order_item_subtotal
1                   299.98             
2                   199.99             
2                   250.0              
2                   129.99             
4                   49.98              
4                   299.95             
4                   150.0              
4                   199.92             
5                   299.98             
5                   299.95             
5                   99.96              
5                   299.98             
Run Code Online (Sandbox Code Playgroud)

我想要做的是为第一列的每个不同值计算第二列的相应值的总和.我尝试使用以下代码执行此操作:

from pyspark.sql import functions as func
prova_df.groupBy("order_item_order_id").agg(func.sum("order_item_subtotal")).show()
Run Code Online (Sandbox Code Playgroud)

这给出了输出

SUM('order_item_subtotal)
129.99000549316406       
579.9500122070312        
199.9499969482422        
634.819995880127         
434.91000747680664 
Run Code Online (Sandbox Code Playgroud)

我不确定它是否正确的做法.为什么不显示第一列的信息?提前感谢您的回答

python apache-spark-sql pyspark pyspark-sql apache-spark-1.3

2
推荐指数
3
解决办法
2万
查看次数

如何在发送之前将文件拆分成较小的块

如何获取以下代码将大文件分解为较小的部分并发送这些部分,而不是发送整个文件?它无法发送大文件(使用ubuntu iso测试大约600mb)

...some code
# file transfer
    with open(sendFile, "rb") as f:
        while 1:
            fileData = f.read()
            if fileData == "": break
            # send file
            s.sendall(EncodeAES(cipher, fileData))
    f.close()
...more code
Run Code Online (Sandbox Code Playgroud)

我尝试使用f.read(1024),但这不起作用.

最后,在拆分文件时,我需要能够再次将这些部分放在一起.

我也在使用PyCrypto加密文件,如果这对我正在尝试做的事情有任何影响.猜猜加密单独的部分是最聪明的,而不是加密整个文件,然后将其分成几部分.

希望上面的代码足够了.如果没有,我将使用更多代码进行更新.

python python-2.7

1
推荐指数
1
解决办法
1694
查看次数

Java - 使用"|"的解释?

我是android和学习java的新手.在最近的指南中,我遇到了将密码字段切换到普通文本字段的方法.

有人可以|在本声明中解释使用吗?

final EditText input = (EditText) findViewById(R.id.etCommands);

if(passTog.isChecked())
{
   input.setInputType(InputType.TYPE_CLASS_TEXT | InputType.TYPE_TEXT_VARIATION_PASSWORD);
}else {
   input.setInputType(InputType.TYPE_CLASS_TEXT);
}
Run Code Online (Sandbox Code Playgroud)

任何有关这方面的帮助将不胜感激.提前致谢.

编辑:

我需要知道这个 Bitwise OR 在这里是如何工作的? 这是完整的代码,以避免变量的模糊:

protected void onCreate(Bundle savedInstanceState) {
    // TODO Auto-generated method stub
    super.onCreate(savedInstanceState);

    setContentView(R.layout.text);

    Button checkCommand = (Button)findViewById(R.id.bResults);
    final ToggleButton passTog = (ToggleButton) findViewById(R.id.tbPassword);
    final EditText input = (EditText) findViewById(R.id.etCommands);
    TextView display = (TextView) findViewById(R.id.tvResults);

    passTog.setOnClickListener(new View.OnClickListener() {

        @Override
        public void onClick(View arg0) {
            // TODO Auto-generated method stub

            if(passTog.isChecked()){
                input.setInputType(InputType.TYPE_CLASS_TEXT | InputType.TYPE_TEXT_VARIATION_PASSWORD);
            }else …
Run Code Online (Sandbox Code Playgroud)

java android

0
推荐指数
1
解决办法
211
查看次数

与null比较,不在java中工作

我一直试图null在条件下进行比较,但它不起作用,总是在Else中.以下是代码,

String authEmail = cursor.getString(cursor.getColumnIndexOrThrow("AUTHOR_EMAIL"));
Log.i(gtag, "author email => " + authEmail);
    if (authEmail == null ) {
        Log.i(gtag, "in author check - IF NULL");
     } else {
            Log.i(gtag, "in author check - ELSE ");                 
     }
Run Code Online (Sandbox Code Playgroud)

cursor是查询SQLite数据库的结果,AUTHOR_EMAIL是列的名称.Logcat将作者电子邮件显示为null,但仍然在ELSE中.以下是Logcat:

06-24 15:30:55.307: I/GCA-Abs-Con(1282): author email => foo@bar.de
06-24 15:30:55.307: I/GCA-Abs-Con(1282): in author check - ELSE 
06-24 15:30:55.357: I/GCA-Abs-Con(1282): author email => null
06-24 15:30:55.357: I/GCA-Abs-Con(1282): in author check - ELSE 
Run Code Online (Sandbox Code Playgroud)

的logcat的显示第3行authorEmailnull但仍进去else. …

java sqlite android

-3
推荐指数
1
解决办法
2500
查看次数