小编Chr*_*now的帖子

使用Python-Django将CSV文件导入PostgreSQL数据库

注意:向下滚动到背景部分以获取有用的详细信息.假设该项目使用Python-Django和South,如下图所示.

导入以下CSV的最佳方法是什么?

"john","doe","savings","personal"
"john","doe","savings","business"
"john","doe","checking","personal"
"john","doe","checking","business"
"jemma","donut","checking","personal"
Run Code Online (Sandbox Code Playgroud)

使用相关表Person,AccountAccountType考虑进入PostgreSQL数据库:

  1. 管理员用户可以通过自定义UI实时更改数据库模型和CSV导入表示
  2. 当常规用户导入CSV文件时,将使用保存的CSV到数据库表/字段映射

到目前为止,已经考虑了两种方法

  1. ETL-API方法:向目标数据库提供ETL API电子表格,我的CSV到数据库表/字段映射和连接信息.然后,API将加载电子表格并填充目标数据库表.看着pygrametl我不认为我的目标是可能的.事实上,我不确定任何ETL API都会这样做.
  2. 行级插入方法:解析CSV到数据库的表/字段映射,解析电子表格,并在"join-order"中生成SQL插入.

我实现了第二种方法,但我正在努力解决算法缺陷和代码复杂性问题.是否有一个python ETL API可以满足我的需求?还是一种不涉及重新发明轮子的方法?


背景

我工作的公司正在寻求将sharepoint中托管的数百个项目特定设计电子表格移动到数据库中.我们即将完成满足需求的Web应用程序,允许管理员为每个项目定义/建模数据库,在其中存储电子表格,以及定义浏览体验.在这个完成阶段,过渡到商业工具不是一种选择.将Web应用程序视为django-admin备选方案,尽管它不具备数据库建模UI,CSV导入/导出功能,可自定义浏览和模块化代码,以解决项目特定的自定义问题.

实施的CSV导入界面很麻烦且有问题,所以我试图获得反馈并找到替代方法.

python django postgresql etl pygrametl

6
推荐指数
1
解决办法
3818
查看次数

如何在eclipse cdt中设置mysql源代码

我想在eclipse cdt中设置mysql源代码,以便我可以开始调查源代码.理想情况下,我希望能够从eclipse编译和运行mysql,以便我可以使用eclipse调试器来逐步执行代码.

我在谷歌搜索过,但找不到合适的东西.我希望这个论坛上的某个人能够指出我正确的方向.我很乐意从5.0开始玩任何版本的mysql.

非常感谢.

mysql eclipse-cdt

6
推荐指数
1
解决办法
896
查看次数

wso2 svn update - E205011:处理一个或多个外部定义时发生故障

我正在尝试svn update4.0.0平台分支,但反复点击错误:

E205011: Failure occurred processing one or more externals definitions

我的svn info输出:

C:\wso2\src\wso2carbon_platform_branch_400>svn info
Path: .
Working Copy Root Path: /cygdrive/c/wso2/src/wso2carbon_platform_branch_400
URL: https://svn.wso2.org/repos/wso2/carbon/platform/branches/4.0.0
Relative URL: ^/carbon/platform/branches/4.0.0
Repository Root: https://svn.wso2.org/repos/wso2
Repository UUID: a5903396-d722-0410-b921-86c7d4935375
Revision: 176686
Node Kind: directory
Schedule: normal
Last Changed Author: manu@wso2.com
Last Changed Rev: 176658
Last Changed Date: 2013-06-28 19:28:29 +0100 (Fri, 28 Jun 2013)
Run Code Online (Sandbox Code Playgroud)

有任何想法吗?

svn wso2

6
推荐指数
1
解决办法
1万
查看次数

从配置脚本返回值给无业游民

是否可以将配置脚本中的值返回给流浪者?

response = config.vm.provision( "shell", path: "script.sh" )

if response = 'ok'
   do_something
end
Run Code Online (Sandbox Code Playgroud)

我在流浪汉的文档中看不到任何描述如何实现的内容。

vagrant

6
推荐指数
1
解决办法
1021
查看次数

par(mfrow = c(1,2))不显示并排密度图

par(mfrow=c(1,2))
plot(1:12, log = "y")
plot(1:2, xaxs = "i")
Run Code Online (Sandbox Code Playgroud)

在此输入图像描述

但是,当我尝试并排密度图时,这些图分别得到输出:

# load the stud.recs dataset
library(UsingR)

par(mfrow=c(1,2))
densityplot(stud.recs$sat.v)
densityplot(stud.recs$sat.m)
Run Code Online (Sandbox Code Playgroud)

为什么par(mfrow=c(1,2))不为密度图工作?

r

6
推荐指数
1
解决办法
1万
查看次数

如何从任务返回并将任务标记为“最新”

我想以编程方式告诉 gradle 从任务中返回,例如:

task ('SetupLibs') << {

    if (sometest)
       // how to tell gradle to return from this task 
       // because it is up-to-date 

    ...
}
Run Code Online (Sandbox Code Playgroud)

这在groovy中可能吗?如何?

gradle

6
推荐指数
1
解决办法
1812
查看次数

如何使用rabbitmq docker撰写yml文件来构建docker镜像?

我是docker的新手,我知道如何提取Ubuntu Linux的图像并运行它.我只是想试试rabbitmq,该网站说我们可以使用这样的docker-composer.yml文件:

rabbitmq:
  image: rabbitmq:management
  ports:
    - "5672:5672"
    - "15672:15672"
Run Code Online (Sandbox Code Playgroud)

我google了一段时间,但只找到YAML相关网站谈论如何编写复杂的YAML文件.但我的问题是,如何使用这个YAML文件与rabbitmq构建/组合任何docker镜像,以便我可以开始使用它?

install rabbitmq docker docker-compose

6
推荐指数
1
解决办法
2万
查看次数

字符串连接可以用于包含 SpEL 的应用程序 yml 值吗?

我正在尝试定义一个 Spring 数据源 url,如下所示:

spring:
  datasource:
    url: "jdbc:${vcap.services.compose-for-mysql.credentials.uri}?useSSL=true&requireSSL=true&verifyServerCertificate=true"
    username: ${vcap.services.compose-for-mysql.credentials.username}
    password: ${vcap.services.compose-for-mysql.credentials.password}
    driver-class-name: com.mysql.jdbc.Driver
Run Code Online (Sandbox Code Playgroud)

哪里vcap.services.compose-for-mysql.credentials.uri设置为mysql://xxxx:xxxx@xxxx.1.dblayer.com:28018/compose.

我需要的网址如下所示:

jdbc:mysql://xxxx:xxxx@xxxx.1.dblayer.com:28018/compose?useSSL=true&requireSSL=true&verifyServerCertificate=true

然而,Spring 似乎无法处理这个问题:

无法获取 JDBC 连接;嵌套异常是 java.sql.SQLException: Driver:com.mysql.jdbc.Driver@6c6efbc8 returned null for URL:jdbc:${vcap.services.compose-for-mysql.credentials.uri}?useSSL=true&requireSSL=true&verifyServerCertificate=真的

有没有一种方法可以使用 yaml 文件构造 url,还是需要使用其他方法(例如 xml 配置)?


更新

我试过了:

url: ${'jdbc:'}${vcap.services.compose-for-mysql.credentials.uri}{'?useSSL=true&requireSSL=true&verifyServerCertificate=true'}

但得到错误:

java.lang.IllegalArgumentException: URL must start with 'jdbc'

还尝试过:

url: jdbc:${vcap.services.compose-for-mysql.credentials.uri}?useSSL=true&requireSSL=true&verifyServerCertificate=true

但得到错误:

Driver:com.mysql.jdbc.Driver@567443ab returned null for URL:jdbc:${vcap.services.compose-for-mysql.credentials.uri}?useSSL=true&requireSSL=true&verifyServerCertificate=true

spring spring-el applicationcontext

6
推荐指数
1
解决办法
4627
查看次数

如何在回调()中存储和检索状态?

我正在尝试模拟从队列中读取数据,例如kafka.当我从文件传输数据时,我需要维护一个指向当前记录的指针.目前我正在使用全局变量执行此操作,但这似乎在所有用户会话中共享.

如何在散景中保存此用户状态?

def modify_doc(doc):

    df_all = pd.read_csv('data.csv')
    df_all['Date'] = pd.to_datetime(df_all['Date'])

    start_data = df_all[0:10].to_dict(orient='list')
    source = ColumnDataSource(data=start_data)
    ...

    def callback():

        # FIXME: how can we save the current_record in the user's session?

        global current_record
        try:
            current_record 
        except NameError:
            current_record = 10

        df = df_all[current_record:current_record+1]

        if df.shape[0] > 0:
            # we have another record so display it
            new_data = df.to_dict(orient='list')
            source.stream( new_data )
            current_record = current_record + 1

    doc.add_root(plot)
    doc.add_periodic_callback(callback, 250)
Run Code Online (Sandbox Code Playgroud)

我已经看过ClientSession的文档,但这似乎适用于整个文档级别?


我在下面列出了一个最小,完整和可验证的示例:

file:bokeh_server.py

在本地运行: python3 bokeh_server.py

import pandas as …
Run Code Online (Sandbox Code Playgroud)

bokeh

6
推荐指数
1
解决办法
317
查看次数

你可以将字符与==进行比较吗?

对于字符串,您必须使用equals来比较它们,因为==仅比较引用.

如果我将字符与==进行比较,它是否会给出预期的结果?


我在stackoverflow上看过类似的问题,例如

但是,我还没有看到一个关于在字符上使用==的问题.

java compare equals char

6
推荐指数
1
解决办法
2万
查看次数