小编aid*_*ald的帖子

使用Bitbucket和Bamboo,我能够让Bamboo跟踪每个功能分支并对每个功能分支运行测试,以便在拉取请求时,我能够看到分支是否通过了单元测试.

使用AWS CodePipeline,我无法判断我是否能够跟踪每个功能分支并在合并之前对它们运行测试.

这可能吗？如果是这样,请指出我的文件.

背景

我一直在与Apache Spark作斗争并且除了一个之外已经解决了大多数错误.我有一个主人和一个奴隶.我可以通过启动主人

./sbin/start-master.sh

然后我可以从奴隶那里连接到它

JAVA_OPTS="-Xmx10g" ./bin/spark-class org.apache.spark.deploy.worker.Worker spark://10.17.16.43:7077

然后我看到成功消息

14/08/25 08:47:04 INFO worker.Worker: Successfully registered with master spark://10.17.16.43:7077

所有这些错误都是可重复的(我已经有一段时间了).我可以从奴隶telnet到master,就像大多数其他教程中提到的那样.SSH配置为不需要主站和从站之间的密码(RSA密钥),如其他地方所述.

我将spark/conf/spark-env.sh设置为以下内容.还有更多行被注释掉了

export SPARK_DAEMON_JAVA_OPTS+=" -Dspark.local.dir=/mnt/spark,/mnt2/spark -Dspark.akka.logLifecycleEvents=true"
export SPARK_LOCAL_IP=`ifconfig | sed -En 's/127.0.0.1//;s/.*inet (addr:)?(([0-9]*\.){3}[0-9]*).*/\2/p' | head -1`
export SPARK_MASTER_IP=$SPARK_LOCAL_IP
export SPARK_MASTER_WEBUI_PORT=8090
export SPARK_WORKER_CORES=1

我从各种教程中提取这些内容,希望能解决问题.

这是我的主人 /etc/hosts

127.0.0.1       localhost
10.17.16.43     aidan-workstation
10.17.16.49     ubuntu

和奴隶

127.0.0.1   localhost
10.17.16.49 ubuntu
10.17.16.43 aidan-workstation

错误

我跑的时候 ./bin/spark-shell

我在主终端中得到以下内容(刚刚发布了它的尾部,完整输出在这里)

14/08/25 08:58:25 INFO client.AppClient$ClientActor: Executor added: app-20140825085822-0002/8 on worker-20140825084704-ubuntu-49237 (ubuntu:49237) with 8 cores
14/08/25 08:58:25 INFO cluster.SparkDeploySchedulerBackend: …

在Python 3.6中,您可以使用以下f字符串:

>>> date = datetime.date(1991, 10, 12)
>>> f'{date} was on a {date:%A}'
'1991-10-12 was on a Saturday'

我想重载接收'%A'上述方法的方法.可以吗？

例如,如果我想写一个愚蠢的包装器datetime,我可能期望这个重载看起来像:

class MyDatetime:
    def __init__(self, my_datetime, some_other_value):
        self.dt = my_datetime
        self.some_other_value = some_other_value

    def __fstr__(self, format_str):
        return (
            self.dt.strftime(format_str) + 
            'some other string' +
            str(self.some_other_value
        )

背景:如果需要,请跳至问题部分

我正在研究测试设备的前端.前端的目的是使编写长测试脚本更容易.几乎只是让它们更具人性化和可写性.

该设备将使用Prologix GPIB-USB控制器进行测试(参见prologix.biz).我们在http://heliosoph.mit-links.info/gpib-on-debian-linux-the-easy-way/找到了一个教程,并完成了所有步骤,并且它有效!

由于我们还没有测试设备,我们想用openpty在Python中编写一个模拟器.我们确实有GPIB-USB控制器,而不是那些连接到它的东西.我让仿真器成为GPIB-USB的完美替代品.这意味着我将遵循"Debian上的GPIB ..."教程(上面)并获得我编程模拟器返回的输出.输入和输出的方式与教程只是读取和写入pty设备(即/ dev/pts/2)而不是tty(即/ dev/ttyUSB0)相同.

现在仿真器工作了,我们想要编写一个可以轻松编写脚本的前端.我们的目标是创建一种在调用函数时写入一堆命令的宏系统.

问题:使用模拟器和设备存在

我使用以下Python函数来读取,写入和打开tty/pty设备,但是如果我在bash中使用echo和cat,我得到的结果不一样.

tty = os.open(tty_path, os.O_RDWR)
os.read(tty, 100)
os.write(tty, "++ver")

例如,我希望以下内容是等效的

$ cat < /dev/pty/2 &   # According to the tutorial, this must be run in parallel
$ echo "++ver" > /dev/pty/2
Prologix GPIB Version 1.2.3.4 ...

和

tty = os.open("/dev/pyt/2", os.o_RDWR)
os.read(tty, 100) # In separate Thread to be run in parallel
os.write(tty, "++ver") # in main thread

输出是非常不同的,请解释为什么以及如何解决它.

完整代码在这里:http://pastebin.com/PWVsMjD7

我有一个模板类,它有一堆纯虚拟和实现的虚函数.然后我让孩子继承这个班级.我想记录虚拟父类中的函数,并让子代在Doxygen中继承此文档.

例如(我不能发布真实的来源).

template <typename A>
class Parent {
   /** Documentation
    */
   virtual void pure() = 0;

   /** More Docs
    */
   virtual void notpure() {
      ...
   }
};

在包含所有正确包含的不同文件中(至少对于编译器而言)

class Child: public Parent<int> {
   void pure() {
      ...
   }
};

然后我想要Doxygen为每个类生成文档,每个函数使用相同的文档,除非我重新记录被覆盖的函数.

我运行Ubuntu 14.04并使用存储库Doxygen 1.8.6以防万一.

谢谢

我感兴趣的描述运行的机器学习算法直接在PostgreSQL内部的位置。

该论文的基本要点是我将我的算法编写为一个函数，该函数给出了第 n 个模型

def get_model(n):
   return make_step(model(n-1))

def make_step(model):
   # Compute gradient and make update and return new model

这个想法是数据库将优化数据流，以便查询运行得非常快。

我的数据大约有 10^12 个样本，10^9 个特征，平均每个样本有 1000 个不为零的特征（高度！稀疏）。

我证明我的问题是合理的，因为我发现了以下内容，

• 用于定义稀疏向量
• 定义内积
• 递归查询
• 而且我很确定 PostgreSQL 可以分发到许多机器上

我的问题是，

• PostgreSQL 处理稀疏矩阵向量乘积的能力如何？
• PostgreSQL 真的会针对更好的数据流和处理进行优化吗？
• 我的任何假设或其他目标是否不切实际？

我想使用 Cloudformation 创建一个 S3 存储桶，该存储桶将在发生文件创建、文件删除等 S3 事件时触发 Lambda 函数。

根据我的研究，我有我的AWS::Lambda::Function和AWS::S3::Bucket设置，

AWSTemplateFormatVersion: '2010-09-09'
Resources:
  HandleFileCreation: 
    Type: "AWS::Lambda::Function"
    Properties: 
      ...

  LambdaExecutionRole:
    Type: AWS::IAM::Role
    Properties:
      ManagedPolicyArns:
      - arn:aws:iam::aws:policy/AmazonS3FullAccess
      - arn:aws:iam::aws:policy/AWSLambdaFullAccess
      AssumeRolePolicyDocument:
        ...

  ReportsBucket:
    Type: AWS::S3::Bucket

  BucketPolicy:
    Type: AWS::S3::BucketPolicy
    Properties:
      Bucket: !Ref ReportsBucket
      PolicyDocument:
        ...

我正在查看AWS::Events::Rule，但该示例仅适用于 EC2，我找不到 S3 的示例

  EventRule: 
    Type: "AWS::Events::Rule"
    Properties: 
      Description: "EventRule"
      EventPattern: 
        source: 
          - "aws.ec2"
        detail-type: 
          - "EC2 Instance State-change Notification"
        detail: 
          state: 
            - "stopping"
      State: "ENABLED"
      Targets: 
        - 
          Arn: 
            Fn::GetAtt: 
              - HandleFileCreation
              - …

在AWS Athena中,似乎没有将参数传递到SQL查询的好方法.执行的典型方式是boto3 来电,

response = client.start_query_execution(
    QueryString='string',
    ClientRequestToken='string',
    QueryExecutionContext={
        'Database': 'string'
    },
    ResultConfiguration={
        'OutputLocation': 'string',
        'EncryptionConfiguration': {
            'EncryptionOption': 'SSE_S3'|'SSE_KMS'|'CSE_KMS',
            'KmsKey': 'string'
        }
    }
)

如果我需要将参数传递给QueryString,我需要清理它以避免注入攻击.如何清洁输入？

我有一个函数,我需要在数值上对所有整数进行无限求和.总和并不总是需要收敛,因为我可以改变内部参数.功能看起来像,

m(g, x, q0) = sum(abs(g(x - n*q0))^2 for n in Integers)
m(g, q0) = minimize(m(g, x, q0) for x in [0, q0])

使用Pythonic伪代码

使用Scipy集成方法,我只是将n和i固定为固定x,

m(g, z, q0) = integrate.quad(lambda n:
                             abs(g(x - int(n)*q0))**2,
                             -inf, +inf)[0]

这很好用,但后来我必须对x进行优化作为x的函数,然后对其进行另一个求和,得到积分优化的积分.差不多需要很长时间.

你知道更好的方法来做更快的求和吗？手工编码似乎变慢了.

目前,我正在与之合作

g(x) = (2/sqrt(3))*pi**(-0.25)*(1 - x**2)*exp(-x**2/2)

但解决方案应该是一般的

这篇文章来自Daubechies的"小波变换,时频定位和信号分析"(IEEE 1990)

谢谢

有时,我需要使用单独的IAM角色访问我具有单独访问权限的多个AWS资源.如果我需要一起使用这些资源,我现在必须找出一个非原生的连接器部分.

如果我可以同时访问资源,我有时可以使用AWS连接器同时连接两个资源(例如).

有没有办法同时承担多个IAM角色？