小编agn*_*aft的帖子

python进程间查询/控制

我有这个基于Python的服务守护进程,它正在进行大量的多路复用IO(选择).

从另一个脚本(也是Python)我想查询这个服务守护进程有关状态/信息和/或控制处理(例如暂停,关闭它,更改一些参数等).

发送控制消息的最佳方式是什么("从现在起你就像这样!")并使用python查询处理过的数据("结果是什么?")?

我在某个地方读过命名管道可能有效,但对命名管道知之甚少,特别是在python中 - 以及是否有更好的替代品.

后台服务守护进程和前端都将由我编程,因此所有选项都是打开的:)

我正在使用Linux.

python ipc

5
推荐指数
1
解决办法
7235
查看次数

PostgreSQL将cidr扩展到单个地址

我在以下布局中存储的网络中有大量子网列表.它用作主表来存储资产,这些资产将用于定期通过Python脚本自动探测状态.

CREATE TEMP TABLE tmp_networks (
    network cidr PRIMARY KEY
);
Run Code Online (Sandbox Code Playgroud)

让我们假设它为了演示而填充了这些值:

  • 10.0.0.0/8
  • 10.0.1.0/24
  • 192.168.0.0/24

当我运行脚本时,Python脚本将执行以下查询以删除任何重叠:

SELECT network
    FROM tmp_networks
    WHERE NOT EXISTS (
        SELECT network
        FROM tmp_networks n
        WHERE n.network >> tmp_networks.network
);
Run Code Online (Sandbox Code Playgroud)

除了一个小问题外,这很有效.我还有一份应该从工作中排除的个人地址列表.这也是数据库中的一个表:

CREATE TEMP TABLE tmp_except (
    address inet PRIMARY KEY
);
Run Code Online (Sandbox Code Playgroud)

让我们假设它包含以下地址:

  • 10.0.0.100
  • 192.168.0.10

现在,我找不到从数据库输出中删除这些特定地址的好方法.在我的想法中,解决方案将是这样的:

  • 选择所有子网
  • 如果在子网中找到任何异常地址,则将子网拆分为较小的部分,直到可以删除单个异常地址并保留所有其他地址

我试图调查在纯PostgreSQL中是否可以做这样的事情,但是没有找到解决这个问题的方法.关于如何解决这个问题的任何指示?

postgresql cidr

5
推荐指数
1
解决办法
1827
查看次数

Mongodb聚合在数组的子文档中

我正在使用mongodb作为后端实现一个小应用程序.在这个应用程序中,我有一个数据结构,其中文档将包含一个包含子文档数组的字段.

我使用以下用例作为基础:http: //docs.mongodb.org/manual/use-cases/inventory-management/

从示例中可以看出,每个文档都有一个名为carted的字段,该字段是一个子文档数组.

{
    _id: 42,
    last_modified: ISODate("2012-03-09T20:55:36Z"),
    status: 'active',
    items: [
        { sku: '00e8da9b', qty: 1, item_details: {...} },
        { sku: '0ab42f88', qty: 4, item_details: {...} }
    ]
}
Run Code Online (Sandbox Code Playgroud)

除了一个问题外,这非常适合我:我想在整个集合中计算每个唯一项目("sku"作为唯一标识符键),其中每个文档将计数加1(同一个"sku"的多个实例)相同的文件仍将只计数1).我想这个结果:

{sku:'00e8da9b',doc_count:1},{sku:'0ab42f88',doc_count:9}

在阅读了MongoDB之后,当你有一个如上所述的复杂模式时,我很惊讶如何(快速)这样做.如果我已经理解了其他优秀文档的正确性,那么可以使用聚合框架或map/reduce框架来实现这样的操作,但这是我需要一些输入的地方:

  • 考虑到结构的复杂性,哪个框架更适合实现我正在寻找的结果?
  • 为了从所选框架中获得最佳性能,首选哪种索引?

mapreduce mongodb aggregation-framework

4
推荐指数
1
解决办法
2万
查看次数

uWSGI用于上传和处理文件

我有一个用bottlepy编写的python web应用程序.它的唯一目的是允许人们上传将要处理的大文件(大约需要10-15分钟来处理).

上传代码我很简单:

@route('/upload', method='POST')
def upload_file():
  uploadfile = request.files.get('fileToUpload')
  if not uploadfile:
    abort(500, 'No file selected for upload')

  name,ext = os.path.splitext(uploadfile.filename)

  if ext not in ['.zip','.gz']:
    abort(500, 'File extension not allowed')

  try:
    uploadfile.save('./files')

    process_file(uploadfile.filename) #this function is not yet implemented

    return "uploaded file '%s' for processing" % uploadfile.filename
  except IOError as e:
    abort(409, "File already exists.")
Run Code Online (Sandbox Code Playgroud)

我计划使用uWSGI部署这个应用程序(但是,如果其他技术更好用于此目的,它不是一成不变的.

因此,我对uWSGI用于此目的有一些疑问:

  1. 如果文件上传需要几分钟,那么uWSGI如何能够在不阻塞的情况下处理其他客户端?
  2. 是否有任何方法可以使用uWSGI中的内置功能卸载处理,以便用户在上载后获得响应并可以查询处理状态?

感谢您的任何帮助.

python bottle uwsgi

3
推荐指数
1
解决办法
4199
查看次数

具有 1 对 2 参数的 Python argparse 互斥组

在我搜索文本文件(日志)的脚本中,我使用 argparse 来获取命令行参数并定义搜索条件。

我使用 --df 和 --dt 来定义从 => 到句点。我还想要一个可选的 --period 将通过使用由自定义操作(例如“week”)解析的一些定义的字符串来覆盖 --df 和 --dt 。现在,我希望 --period 与 --df 和 --dt 互斥,但据我所知,这对于 add_mutually_exclusive_group() 是不可能的。

我尝试了以下代码,但没有成功:

parser = argparse.ArgumentParser(description='Search the file')

dfgroup = parser.add_mutually_exclusive_group()
dfgroup.add_argument(
    '--df',
    type=dateparser.parse,
    metavar='DATETIME',
    help='date and/or time to search from'
)
dfgroup.add_argument(
    '--period',
    action='store', #should be a custom action
    metavar='PERIOD',
    help='the period to search within (mutually exclusive with --df and --dt)'
)
dtgroup = parser.add_mutually_exclusive_group()
dtgroup.add_argument(
    '--dt',
    type=dateparser.parse,
    metavar='DATETIME',
    help='date and/or time to search to'
)
dtgroup.add_argument( …
Run Code Online (Sandbox Code Playgroud)

python argparse

3
推荐指数
1
解决办法
1953
查看次数

WatcherService尾随Gzip日志文件

我有一个包含gzip压缩日志文件的目录,每行一个事件.为了实时读取和处理这些,我创建了一个与此处列出的代码相同的WatcherService:http://docs.oracle.com/javase/tutorial/essential/io/notification.html

在processEvents()方法中,我添加了此代码以逐行读取已添加或追加的文件:

if (kind == ENTRY_MODIFY) {
    try(BufferedReader reader = new BufferedReader(new InputStreamReader(new GZIPInputStream(Files.newInputStream(child, StandardOpenOption.READ))))) {
        String line;
        while ((line = reader.readLine()) != null) {
            System.out.println(line);
        }
    }
    catch(EOFException ex) {
        //file is empty,  so ignore until next signal
    }
    catch(Exception ex) {
        ex.printStackTrace();
    }
}
Run Code Online (Sandbox Code Playgroud)

现在,正如您可以想象的那样,这对于在几毫秒内创建的已编写和关闭的文件非常有用,但是,当处理随时间附加的大文件时,这将为每个附加行反复读取整个文件(给定生成器现在然后刷新和同步文件).

有没有什么办法可以在每次发送ENTRY_MODIFY信号时只读取此文件中的新行,或者找出文件"完成"的时间?

如何处理未附加但被覆盖的文件?

java gzipinputstream

3
推荐指数
1
解决办法
608
查看次数

Postgresql只加入最具体的cidr匹配

我有一个表"test_networks",它是一个网络列表,其中描述了每个网络的位置和位置.

CREATE TABLE test_networks
(
  id serial PRIMARY KEY,
  address cidr,
  description text
);
Run Code Online (Sandbox Code Playgroud)

字段"地址"将是以下任何一种:

  • 10.0.0.0/8
  • 10.1.0.0/16
  • 10.1.1.0/24
  • 10.2.0.0/16
  • 10.3.0.0/16
  • 10.3.1.0/24
  • 10.3.2.0/24
  • 10.3.3.0/24
  • 10.15.1.0/24
  • 10.15.2.0/24
  • 10.15.3.0/24

我还有一个表"test_systems",其中包含一系列系统及其属性(我还有一些属性,但这些属性无关紧要):

CREATE TABLE test_systems
(
  id serial PRIMARY KEY,
  address inet,
  owner text
);
Run Code Online (Sandbox Code Playgroud)

让我们假设我的系统具有以下地址:

  • 10.1.1.1
  • 10.2.0.1

我想创建一个包含所有系统及其最近网络描述的报告(如果没有找到网络,则为空描述).如您所见,10.1.1.1匹配多个网络,因此我只想列出每个系统中最具体的一个(即具有最高masklen()的网络).示例输出将是:

  hostaddr |   netaddr   |  description
 ----------+-------------+----------------
  10.1.1.1 | 10.1.1.0/24 | third network
  10.2.0.1 | 10.2.0.0/16 | 4th network
Run Code Online (Sandbox Code Playgroud)

我尝试使用此查询:

SELECT s.address AS hostaddr, n.address AS netaddr, n.description AS description
FROM test_systems s
LEFT JOIN …
Run Code Online (Sandbox Code Playgroud)

postgresql join cidr

2
推荐指数
1
解决办法
1085
查看次数

MongoDB网络子网查找

假设我们有一组文档,其中每个文档代表一个如下网络子网:

{'network':'10.0.0.0/24,'someattr':'aaa'}
{'network':'192.168.0.0/16','someattr':'bbb'}
{'network':'172.16.0.0/16','someattr':'ccc'}
Run Code Online (Sandbox Code Playgroud)

有没有什么方法可以在MongoDB集合中查找单个IP地址(例如'10 .0.100.50')并识别它所属的子网/文档?

mongodb

2
推荐指数
1
解决办法
923
查看次数

列表列表的所有可能组合

在组合列表中的列表时,我迫切需要一些算法帮助.假设我有以下数据结构:

fields = [  ['a1', 'a2', 'a3'],
            ['b1', 'b2', 'b3'],
            ['c1', 'c2', 'c3'],
            ['d1', 'd2', 'd3']  ]

我正在尝试编写一个生成器(Python),它将产生每个可能的项目组合,以便以下代码:

for x in thegenerator(fields):
    print(x)

会给出以下输出:

['a1', 'b1', 'c1', 'd1']
['a1', 'b1', 'c1', 'd2']
['a1', 'b1', 'c1', 'd3']
['a1', 'b1', 'c2', 'd1']
['a1', 'b1', 'c2', 'd2']
['a1', 'b1', 'c2', 'd3']
...
['a3', 'b3', 'c3', 'd3']

然而,我的思维方式今天完全没有了,所以我无法想象我最好如何迭代结构以使用Python以最干净的方式获得所有组合.我确信这是以前由某人完成的,但是在谷歌和堆栈上进行了一些搜索后,我放弃了找到正确的关键字组合,以找到适合此问题的算法.

有什么想法解决这个最干净的算法是什么?

python algorithm permutation data-structures

1
推荐指数
1
解决办法
572
查看次数

在golang中创建日志文件

我在Go中有一个小项目,它通过tcp接收文本行进行处理.但是,为了确保稳健性,我想创建某种日志,以便在电源故障时不会丢失任何内容(例如,我的应用程序收到了一帧数据,但尚未处理).

我已经搜索了有关如何实现日志文件的任何指南,但搜索结果受到Oracle RDBMS文档等严重污染.

我的想法是这样的:收到一行后立即将其写入带有"未处理标志"的文件.处理完毕后,更新文件以清除此标志,打开覆盖.在清除此标志的同时,向数据发送方发送"已处理的确认".也许最容易处理日志中固定大小的"插槽"以确保我可以重用已释放的插槽而不是拥有不断增加的文件并维护未使用插槽的"空闲列表".

在自定义代码中实现这样的文件是否有任何"最佳实践",关于文件结构,填充和锁定?在Go中是否存在任何问题,因为它是跨平台而不是使用本机文件系统API?

journal go

1
推荐指数
1
解决办法
880
查看次数

socket只接受特定的地址?

我写基于下面列出的例子小的TCP服务器,来自这里.

#include <sys/socket.h>
#include <sys/un.h>
#include <stdlib.h>
#include <stdio.h>
#include <string.h>

#define MY_SOCK_PATH "/somepath"
#define LISTEN_BACKLOG 50

#define handle_error(msg) \
    do { perror(msg); exit(EXIT_FAILURE); } while (0)

int
main(int argc, char *argv[])
{
    int sfd, cfd;
    struct sockaddr_un my_addr, peer_addr;
    socklen_t peer_addr_size;

   sfd = socket(AF_UNIX, SOCK_STREAM, 0);
    if (sfd == -1)
        handle_error("socket");

   memset(&my_addr, 0, sizeof(struct sockaddr_un));
                        /* Clear structure */
    my_addr.sun_family = AF_UNIX;
    strncpy(my_addr.sun_path, MY_SOCK_PATH,
            sizeof(my_addr.sun_path) - 1);

   if (bind(sfd, (struct sockaddr *) &my_addr,
            sizeof(struct sockaddr_un)) == -1) …
Run Code Online (Sandbox Code Playgroud)

c sockets

0
推荐指数
1
解决办法
1632
查看次数

绘图板/网格与可可

我正在使用Cocoa为Mac OS X编写一个小桌面游戏.我的实际网格绘制如下:

- (void)drawRect:(NSRect)rect
{
    for (int x=0; x < GRIDSIZE; x++) {
        for (int y=0; y < GRIDSIZE; y++) {          

            float ix = x*cellWidth;
            float iy = y*cellHeight;

            NSColor *color = (x % 2 == y % 2) ? boardColors[0] : boardColors[1];
            [color set];

            NSRect r = NSMakeRect(ix, iy, cellWidth, cellHeight);

            NSBezierPath *path = [NSBezierPath bezierPath];
            [path appendBezierPathWithRect:r];

            [path fill];
            [path stroke];  
        }
    }   
}
Run Code Online (Sandbox Code Playgroud)

这很好用,除了我看到瓷砖之间的颜色有些错误.我想这是由于一些抗锯齿或类似的.请参阅下面的屏幕截图(希望您也可以看到相同的问题......其中一些黑色线条与瓷砖重叠):

渲染板

因此我有这些问题:

  1. 有什么办法可以在保留可调整大小/可扩展的电路板的同时删除这些图形文件吗?
  2. 我应该使用其他图形库,如Core Graphics或OpenGL吗?

更新:

const int GRIDSIZE = 16;
cellWidth = …
Run Code Online (Sandbox Code Playgroud)

cocoa 2d objective-c

0
推荐指数
1
解决办法
2662
查看次数

Go:有效处理通过TCP接收的碎片数据

我正在编写一个小型tcp服务器,它只能读取数据,解析接收数据(动态长度帧)并处理这些帧.请考虑以下代码:

func ClientHandler(conn net.Conn) {
    buf := make([]byte, 4096)
    n, err := conn.Read(buf)
    if err != nil {
        fmt.Println("Error reading:", err.Error())
        return
    }
    fmt.Println("received ", n, " bytes of data =", string(buf))
    handleData(buf)
Run Code Online (Sandbox Code Playgroud)

这几乎就是我的代码的本质.我将X字节读入空缓冲区然后处理数据.

问题发生在:

  1. 一帧数据大于它试图从tcp连接读入的缓冲区.在这种情况下,我无法处理数据,直到我收到其余的数据(但接收缓冲区已经被先前的数据占用).
  2. 当缓冲区包含一个半帧的数据时,我需要处理第一帧,同时保留不完整的帧以供以后使用......在这种情况下,我需要从缓冲区中删除处理过的部分,然后将不完整的部分移动到这个框架的剩余部分还有空间.

这两种情况都可能需要重新分配和复制数据,这可能是一项代价高昂的操作?此外,除了扩展缓冲区之外,我对如何处理大于缓冲区的帧没有任何想法......但是,不断增加的缓冲区可能会导致性能问题和拒绝服务.最后,但并非最不重要的是,我不知道Golang的标准库是否足以知道是否有任何明确构建的包用于处理这些情况.

所以我的问题是:

  1. 有没有处理这些情况的最佳做法?
  2. 是否有任何golang软件包可以为我做一些或大部分的事情?

谢谢.

buffer tcp go

0
推荐指数
1
解决办法
1006
查看次数