小编VS_*_*_FF的帖子

我按照有关如何设置 Node.JS 以与 Cloud SQL 一起使用的示例进行操作，并且通常可以使其正常工作，但有一些关于如何连接到 SQL 服务器的变通方法。我无法以正确的方式连接，将 传递INSTANCE_CONNECTION_NAME给方法socketPath的options变量选项createConnection()。相反，作为临时解决方法，我目前指定服务器的 IP 地址并将我的 VM IP 地址放入服务器的防火墙设置中以使其通过。

这一切都有效，但我现在正在尝试在发布到 AppEngine 之前将其正确组合在一起。

我怎样才能让它工作？

以下代码工作正常：

function getConnection ()
{
  const options = 
  {  
    host: "111.11.11.11", //IP address of my Cloud SQL Server
    user: 'root',
    password: 'somePassword',
    database: 'DatabaseName'
  };
  return mysql.createConnection(options);
}

但是我从教程和教程中引用的Github 页面合并的以下代码给出了错误：

function getConnection ()
{
  const options = 
  {  
    user: 'root',
    password: 'somePassword',
    database: 'DatabaseName',
    socketPath: '/cloudsql/project-name-123456:europe-west1:sql-instance-name'
  };
  return …

我在Google Cloud Dataproc（所以Dataproc版本1.0）上运行Spark 1.6.2。我的集群由几个工作n1-standard-8人员组成，每个核心（spark.executor.cores=1）运行一个执行程序。

我发现，即使每个工作程序运行正确数量的执行程序，我的总体CPU利用率也不会超过50％（我在每个工作程序上为操作系统等保留了一个内核）。

我想知道是否有可能以某种方式在每个工作人员上运行更多执行程序以更充分地利用集群？如果是这样，我需要指定哪些设置？

在lscpu对工人机转储看起来是这样的：

Architecture:          x86_64
CPU op-mode(s):        32-bit, 64-bit
Byte Order:            Little Endian
CPU(s):                8
On-line CPU(s) list:   0-7
Thread(s) per core:    2
Core(s) per socket:    4
Socket(s):             1
NUMA node(s):          1
Vendor ID:             GenuineIntel
CPU family:            6
Model:                 62
Model name:            Intel(R) Xeon(R) CPU @ 2.50GHz
Stepping:              4
CPU MHz:               2500.000
BogoMIPS:              5000.00
Hypervisor vendor:     KVM
Virtualization type:   full
L1d cache:             32K
L1i cache:             32K
L2 cache:              256K
L3 …

我有一个简单的 DataFrame 看起来像这样：

TimeStamp, Value
1-Jan 06:10, 5
1-Jan 08:15, 7
1-Jan 15:30, 3
2-Jan 07:05, 1
2-Jan 10:15, 3
2-Jan 13:30, 2 

如何向同一个 DataFrame 添加第三列，以显示每天“值”的运行最大值并在第二天重置？我希望 DataFrame 看起来像这样：

TimeStamp, Value, DayMax
1-Jan 06:10, 5, 7
1-Jan 08:15, 7, 7
1-Jan 15:30, 3, 7
2-Jan 07:05, 1, 3
2-Jan 10:15, 3, 3
2-Jan 13:30, 2, 3 

我尝试使用.rolling().max(...)但问题是即使在较早的行中，在遇到最大值之前以及min_periods达到之前，我也需要最大值。此外，我需要每天重置最大值，从而忽略该window参数。

我希望避免循环和复杂的代码操作，因为我将在一个非常大的 DataFrame 上进行操作，所以更喜欢内置的东西！

我有一个简单的 Pandas DataFrame，如下所示：

Timestamp              Value
2017-01-03 00:00:00    13.05
2017-01-03 00:01:00    13.70
2017-01-03 00:02:00    13.07
...
2017-01-27 09:57:00    13.46
2017-01-27 09:58:00    13.43
2017-01-27 09:59:00    13.41

我怎样才能转置它以便每天只有一行，以及特定小时和分钟的列（比如从 0 到 10 小时）（时间戳中没有秒，它们都是零）。

到目前为止，我可以成功地使用df[df.index.time < datetime.time(10,0)]每天 10 小时以下的行来选择行。但是如果我随后.T转置该选择，那么整个 DataFrame 就会转置为一个很长的行。如何.T从时间戳对每个不同日期的行批次执行该操作？（也可能把每一天的值放在转置数据集的第一列？

我宁愿避免自定义代码和循环，因为数据集很大，所以更喜欢内置的东西！