小编Nei*_*eil的帖子

Django REST框架:由于大型相关表格,可浏览的UI速度慢

我的API中有一个模型,它有一个包含数万条记录的表的外键.当我在可浏览的UI中浏览到该模型的详细信息页面时,页面加载将永远消失,因为它正在尝试使用PUT命令的HTML表单的数万个条目填充外键下拉列表.

反正有解决这个问题吗?我认为我最好的解决方案是让可浏览的UI不显示此字段,从而防止缓慢加载.人们仍然可以通过实际的PUT api请求直接更新字段.

谢谢.

user-interface browsable django-rest-framework

8
推荐指数
1
解决办法
1951
查看次数

django:使用安全过滤器渲染变量而不使用unicode'u'类型指示符

我正在尝试将字典传递给django模板.在django视图中,变量被初始化并按原样传递:

foo = {'a':'b'}
...
return render(request, 'template.html', {'foo': str(foo)}
Run Code Online (Sandbox Code Playgroud)

在模板中,我有

{{ foo|default:"{}"|safe}}
Run Code Online (Sandbox Code Playgroud)

如果它是相关的,我在jquery片段中有上面的行.该片段失败,因为dict被渲染为

[{'a': u'b'}] 
Run Code Online (Sandbox Code Playgroud)

而不是我期望的:

[{'a': 'b'}] 
Run Code Online (Sandbox Code Playgroud)

似乎安全过滤器没有删除dict值'b'之前的unicode u.我怎么做?

django django-templates django-template-filters

7
推荐指数
1
解决办法
4384
查看次数

Django REST框架:validate_ <fieldname>和validate之间的区别是什么?

我在我的序列化程序中执行自定义字段级验证,需要引用另一个字段.

查看验证文档中的示例,我不清楚是否应该使用validate_<fieldname>或validate.它看起来都有attrs字典,所以从validate_<fieldname>我可以很容易地引用另一个字段作为validate(即使描述,validate表明你应该使用它来访问多个字段).那么为什么有这两种选择呢?在我的情况下,哪个选项使用正确?

validation django-rest-framework

6
推荐指数
1
解决办法
4577
查看次数

芹菜:远程工作者经常失去联系

我有一个在云服务器(Django应用程序)上运行的Celery代理,我办公室的本地服务器上的两个工作人员连接在NAT后面.本地工作人员经常失去连接,必须重新启动以重新建立与代理的连接.通常celeryd restart在我第一次尝试时挂起,所以我必须ctr + C并重试一次或两次以使其备份并连接.工人记录两个最常见的错误:

[2014-08-03 00:08:45,398: WARNING/MainProcess] consumer: Connection to broker lost. Trying to re-establish the connection...
Traceback (most recent call last):
  File "/usr/local/lib/python2.7/dist-packages/celery/worker/consumer.py", line 278, in start
    blueprint.start(self)
  File "/usr/local/lib/python2.7/dist-packages/celery/bootsteps.py", line 123, in start
    step.start(parent)
  File "/usr/local/lib/python2.7/dist-packages/celery/worker/consumer.py", line 796, in start
    c.loop(*c.loop_args())
  File "/usr/local/lib/python2.7/dist-packages/celery/worker/loops.py", line 72, in asynloop
    next(loop)
  File "/usr/local/lib/python2.7/dist-packages/kombu/async/hub.py", line 320, in create_loop
    cb(*cbargs)
  File "/usr/local/lib/python2.7/dist-packages/kombu/transport/base.py", line 159, in on_readable
    reader(loop)
  File "/usr/local/lib/python2.7/dist-packages/kombu/transport/base.py", line 142, in _read
    raise ConnectionError('Socket was disconnected')
ConnectionError: Socket was disconnected …
Run Code Online (Sandbox Code Playgroud)

celery django-celery

6
推荐指数
1
解决办法
1267
查看次数

Celery:为什么 gevent 和 eventlet 比 prefork 池更慢且更不可靠?

我的主 celery 应用程序在 AWS 的 EC2 实例(“main”)中运行,它生成的任务与同一可用区(“db”)中的 RDS 数据库进行交互。工作负载每分钟生成多达数千个任务,我需要尽快并行执行它们。我有工作人员在两个物理位置执行任务。一个来自主实例的单独 EC2 实例(“工作 EC2”),但与它和数据库位于同一可用区,另一个来自我们办公室私有数据中心的物理计算机(“工作本地”)。

工作 EC2 和本地都运行 prefork 事件池并且autoscale==70,4工作正常(任务在 2-3 秒内完成),但 CPU 和内存使用率很高,如果可能的话,我需要更多的并行性。所以我一直在尝试eventlet和。我陷入以下问题:geventconcurrency=100

  • Worker EC2 上的 Eventlet 任务完成时间 (1s) 比 prefork (2-3s) 快。然而,在本地工作线程上,任务完成时间要慢得多(17-25 秒),并且大多数时间都卡在使用本地 Redis 缓存对数据库和 I/O 执行简单查询上。该进程不会对 CPU 和内存造成很大的负担。Gevent 本地工人也会出现同样的问题,但更严重。任务在 200 秒以上完成。
  • Worker EC2 上的 Eventlet 任务完成时间更快,但它似乎没有使用完全并发。尽管每个任务都在 1-1.5 秒内完成,但我从未见过在任何给定的一秒窗口内完成超过 10-15 个任务。所以看起来完全并发没有被利用。CPU 利用率为 60-80%,内存利用率低于 50%,因此不会承受重压。
  • 即使任务在队列中,运行 Gevent 和 Eventlet 的本地工作线程也经常处于空闲状态。一旦我重新启动工作程序,它就会再次开始消耗任务一段时间,然后再次空闲。我注意到在这些情况下工作人员会出错BrokenPipe。注意,这种情况不会发生在 prefork 上,所以我认为这不是连接/网络的问题,而是与池包有关。这种行为对于 Gevent 来说比 Eventlet 更糟糕,但两者都不好

问题:

  • 为什么 Eventlet 和 Gevent 在本地和 EC2 工作线程之间的表现会不同?这两个工作人员之间的唯一区别在于,其中一个工作人员在物理上更接近主芹菜应用程序和数据库,这会影响绿色线程的执行方式吗? …

python celery gevent eventlet

6
推荐指数
0
解决办法
2724
查看次数

gwt面板水平对齐不起作用

我有一个GWT对话框,如下所示:

public class FooDialog extends DialogBox {

public FooDialog() {
        setText("Foo Dialog");
        VerticalPanel outer = new VerticalPanel();
        outer.setBorderWidth(3);
        outer.setSize("400px", "200px");
        outer.setHorizontalAlignment(HasAlignment.ALIGN_CENTER);
        outer.setVerticalAlignment(HasAlignment.ALIGN_MIDDLE);

        Button cancelButton = new Button("Cancel", new ClickHandler() {
      public void onClick(ClickEvent event) {
        hide();
      }
    });

        HorizontalPanel buttons = new HorizontalPanel();
        buttons.setBorderWidth(3);
        buttons.add(cancelButton);

        outer.add(buttons);

        setWidget(outer);
    }
}
Run Code Online (Sandbox Code Playgroud)

由于某种原因,"按钮"面板不遵循horizo​​ntalAlignment设置; 它粘在外板的左侧.但是,它确实遵循vertialAlignment设置.有任何想法吗?谢谢!

gwt dialog panel alignment

5
推荐指数
1
解决办法
1万
查看次数

django - 为django crispy formset中的div分配唯一ID

我有一个Django-crispy-form,呈现为Django formset.表单的布局有一个Div我想在Javascript中操作的元素.但是,我没有看到如何为这些div生成唯一ID.当我设置时css_id,它不附加一个索引,指示它所属的formset中的哪个表单.

提前致谢!

django-forms django-crispy-forms

5
推荐指数
0
解决办法
93
查看次数

Lua:模式匹配多个字符与?重复算子

根据文档,所有Lua重复运算符仅适用于单个字符,因此您可以匹配

string.match('123', '1?(%d+)') -- returns 23
Run Code Online (Sandbox Code Playgroud)

但无法匹配多字符字符串:

string.match('123', '(12)?(%d+)') -- want this to return 3
Run Code Online (Sandbox Code Playgroud)

文档说这可能通过"多种模式和自定义逻辑",但我不知道这意味着什么.有人能提供一种模式匹配的方法吗?基本上,12应该可选地匹配all-or-nothing,并返回数字字符串的其余部分.

regex lua lua-patterns

5
推荐指数
1
解决办法
771
查看次数

Django REST框架:针对同一模型的两个不同的ModelSerializer

我有一个模型,我已经定义了两个不同的HyperlinkedModelSerializers:

class Foo(models.Model):
    ...

class FooSerializer1(serializers.HyperlinkedModelSerializer):
    ...

    class Meta:
        model = Foo
        fields = ('url', 'id', ...)
        lookup_field= 'pk'

# A second view of the same model for another API use-case
class FooSerializer2(serializers.HyperlinkedModelSerializer):
    ...

    class Meta:
        model = Foo
        fields = ('url', 'id', ...)
        lookup_field= 'pk'
Run Code Online (Sandbox Code Playgroud)

FooSerializer1正在使用的一对夫妇GenericViews在一个Django应用程序(即,其自己的urls.py),并FooSerializer2通过一个ModelViewSet在另一个Django应用程序.我已经ModelViewSet注册了一些DefaultRouter以及其他一些视图集:

urlpatterns = patterns('',
    url(r'^$', 'myapp.views.api_root'),
    url(r'^foo1/$', views.FooList1.as_view(), name='foo1-list'),
    ...
)

urlpatterns = format_suffix_patterns(urlpatterns)

...

class FooViewSet2(viewsets.ReadOnlyModelViewSet):
    queryset = Foo.objects.all()
    serializer_class = FooSerializer2 …
Run Code Online (Sandbox Code Playgroud)

django django-rest-framework

5
推荐指数
1
解决办法
1843
查看次数

大熊猫数据帧替换速度慢

我有一个Excel文件(.xlsx),大约有800行和128列,网格中的数据非常密集.有大约9500个单元格,我试图替换使用Pandas数据框的单元格值:

xlsx = pandas.ExcelFile(filename)
frame = xlsx.parse(xlsx.sheet_names[0])
media_frame = frame[media_headers] # just get the cols that need replacing

from_filenames = get_from_filenames() # returns ~9500 filenames to replace in DF
to_filenames = get_to_filenames()

media_frame = media_frame.replace(from_filenames, to_filenames)
frame.update(media_frame)
frame.to_excel(filename)
Run Code Online (Sandbox Code Playgroud)

将replace()需要60秒.有什么方法可以加快速度吗?这不是庞大的数据或任务,我期待大熊猫的移动速度更快.仅供参考我尝试使用CSV中的相同文件进行相同的处理,但节省的时间最少(大约50秒replace())

python excel numpy dataframe pandas

5
推荐指数
1
解决办法
1052
查看次数