小编Ugo*_*goL的帖子

在python中读取巨大的MySQL表的最快方法

我试图读取一个由数百万行组成的非常大的 MySQL 表。我使用过Pandas库和chunks. 请参阅下面的代码:

import pandas as pd
import numpy as np
import pymysql.cursors

connection = pymysql.connect(user='xxx', password='xxx', database='xxx', host='xxx')

try:
    with connection.cursor() as cursor:
        query = "SELECT * FROM example_table;"

        chunks=[]

        for chunk in pd.read_sql(query, connection, chunksize = 1000):
            chunks.append(chunk)
        #print(len(chunks))    
        result = pd.concat(chunks, ignore_index=True)
        #print(type(result))
        #print(result)

finally:
    print("Done!")

    connection.close()
Run Code Online (Sandbox Code Playgroud)

实际上,如果我限制要选择的行数,执行时间是可以接受的。但是如果只想选择最少的数据(例如100 万行),那么执行时间会急剧增加。

也许有更好/更快的方法从python中的关系数据库中选择数据?

python mysql numpy pandas

6
推荐指数
2
解决办法
1万
查看次数

如何使用javascript正确处理函数中的调用函数

我试图了解如何使用javascript处理某些事件,特别是如果触发了特定事件,则当前函数调用另一个函数.在onLoad上,javascript创建第一个从第一个对象中选择数据.然后,如果我选择值为"Iphone"的语音被称为另一个功能,用于创建具有一些价格的第二个菜单.我的主要问题是我的解决方案似乎非常难看,而且当我在按钮上单击多次时,它每次都会创建相同的第二个选择.

//global objects
var product = [
  {name: "Samsung"},
  {name: "Iphone"},
  {name: "Alcatel"},
  {name: "Sony"}
]

var productPrice = [
  {name: "Samsung", price: 190},
  {name: "Iphone", price: 290},
  {name: "Alcatel", price: 65},
  {name: "Sony", price: 330}
]

var main = function() {
  var sel = $('<select>').appendTo('#select-1');
  
  $(product).each(function() {
    sel.append($("<option>").attr('value', this.name).text(this.name));
  });
  
  $('.press').click(function() {
    if ($("#select-1 option:selected").text() == "Iphone") {
      handleEvent();
    }
    
    if ($("#select-1 option:selected").text() != "Iphone") {
      $("#risposta").remove();
    }
  });
}

function handleEvent() {
  var sel = $('<select>').appendTo('#select-2');
  
  $(productPrice).each(function() { …
Run Code Online (Sandbox Code Playgroud)

javascript jquery object

5
推荐指数
1
解决办法
119
查看次数

在Markdown / Macdown编辑器中格式化MySQL代码

我试图找出哪种方法是使用Markdown / Macdown编辑器呈现某些MySQL查询的最聪明的方法。

我尝试˜˜˜sql在查询代码段之前应用带有标记的4个空格,但是由于它不显示代码突出显示,因此似乎无法正常工作。

请参见下面的屏幕截图:

在此处输入图片说明

有什么建议么?感谢您的建议。

mysql markdown editor

4
推荐指数
1
解决办法
5048
查看次数

在Python 3中已经存在的情况下在Python 2.7中安装NLTK

我试图在Python 2.7中安装NLTK包 - 我已经在Python 3中安装了它.所以每次运行时:

sudo pip install nltk

我明白了:

要求已经满足:nltk in /anaconda/lib/python3.6/site-packages

要求已经满足:六个/anaconda/lib/python3.6/site-packages(来自nltk)

我如何nltk在python 2.7中专门安装?

非常感谢!

松鸦

python nltk python-2.7

3
推荐指数
1
解决办法
3218
查看次数

在 d3 或 javascript 中生成 svg 圆形区域内的随机点

我有一个svg 圆形元素,其坐标属性如下:

<circle id="c1" class="area" cx="440" cy="415" r="75"></circle>
Run Code Online (Sandbox Code Playgroud)

我想使用 javascript 或 d3 在圆形元素内生成一些随机点。我思考了正确的应用方法。我得出的结论是我可以通过两种方式做到这一点:

  • 通过生成 n 个随机点坐标 cx,cy 然后检查每个点是否在 svg 圆内(如果从它到中心的距离最多为圆元素的半径)。

  • 通过生成点的半径 asR * sqrt(random())和 theta asrandom() * 2 * PI并计算 cx,cy asr * cos(theta)r * sin(theta)

有更好的方法吗?

javascript math geometry svg d3.js

2
推荐指数
1
解决办法
1829
查看次数

使用来自真实有向图的Erdős-Rényi模型生成有向随机图

我试图了解如何正确生成基于Erdős-Rényi模型的有向随机图.我看过网络x上的erdos_renyi_graph功能.我已经将我的真实网络(5317)的节点数设置为n参数,然后为pi计算:

p = (< k_in > + < k_out >)/(n-1) = (78,302 )/(5317-1) = 0, 014729496
Run Code Online (Sandbox Code Playgroud)

我已经计算出平均度数为in_degree和out_degree的总和.

应用此概率,它生成了一个包含5317个节点和415.727个边的随机图.比我的真实网络(207.167边缘)更多的边缘.

我做错什么了吗?

graph directed-graph probability degrees networkx

0
推荐指数
1
解决办法
759
查看次数