小编cod*_*ape的帖子

SQLAlchemy过滤相关对象的查询

使用SQLAlchemy,我与两个表有一对多的关系 - 用户和分数.我试图查询排名前10位的用户,这些用户按过去X天的总分进行排序.

users:  
  id  
  user_name  
  score  

scores:  
  user   
  score_amount  
  created  
Run Code Online (Sandbox Code Playgroud)

我目前的查询是:

 top_users = DBSession.query(User).options(eagerload('scores')).filter_by(User.scores.created > somedate).order_by(func.sum(User.scores).desc()).all()  
Run Code Online (Sandbox Code Playgroud)

我知道这显然不正确,这只是我最好的猜测.但是,在查看文档和谷歌搜索后,我找不到答案.

编辑:如果我勾勒出MySQL查询的样子,也许会有所帮助:

SELECT user.*, SUM(scores.amount) as score_increase 
FROM user LEFT JOIN scores ON scores.user_id = user.user_id 
WITH scores.created_at > someday 
ORDER BY score_increase DESC
Run Code Online (Sandbox Code Playgroud)

python sqlalchemy

16
推荐指数
1
解决办法
3万
查看次数

Python不读取整个文本文件

我遇到了一个问题,我没有在StackOverflow上遇到任何人,甚至谷歌也没有.

我的主要目标是能够用另一个字符串替换文件中字符串的出现.有没有办法能够访问文件中的所有行.

问题是,当我尝试读取大文本文件(1-2 gb)的文本时,python只读取它的一个子集.

例如,我会做一个非常简单的命令,例如:

newfile = open("newfile.txt","w")
f = open("filename.txt","r")
for line in f:
    replaced = line.replace("string1", "string2")
    newfile.write(replaced)
Run Code Online (Sandbox Code Playgroud)

它只写入原始文件的前382 MB.以前有人遇到过这个问题吗?

我尝试了一些不同的解决方案,例如使用:

import fileinput
for i, line in enumerate(fileinput.input("filename.txt", inplace=1)
   sys.stdout.write(line.replace("string1", "string2")
Run Code Online (Sandbox Code Playgroud)

但它具有相同的效果.也不会以诸如使用的方式读取文件

f.read(10000)
Run Code Online (Sandbox Code Playgroud)

我把它缩小到很大程度上可能是一个解决问题而不是写作问题,因为它只是简单地打印出来的.我知道还有更多的线条.当我在像Vim这样的全文编辑器中打开它时,我可以看到最后一行应该是什么,并且它不是python打印的最后一行.

任何人都可以提供任何建议或尝试吗?

我目前正在使用32位版本的Windows XP,3.25 GB的ram,并运行Python 2.7

*找到编辑解决方案(谢谢Lattyware).使用迭代器

def read_in_chunks(file, chunk_size=1000): 
   while True: 
      data = file.read(chunk_size) 
      if not data: break 
      yield data
Run Code Online (Sandbox Code Playgroud)

python file-io text filesize

13
推荐指数
2
解决办法
2万
查看次数

如何在Python for循环中使用多个条件?

如何在Python for循环中使用多个条件?

for example in java:
    int[] n={1,2,3,4,6,7};
    for(int i=0;i<n.length && i<5 ;i++){
      //do sth
    }
Run Code Online (Sandbox Code Playgroud)

循环python的剂量如何?

python

12
推荐指数
4
解决办法
5万
查看次数

如何"停止"和"恢复"长时间运行Python脚本?

我编写了Python脚本来处理大量的大文本文件,并且可能会运行很多时间.有时,需要停止正在运行的脚本并在以后恢复它.停止脚本的可能原因是程序崩溃,磁盘"空间不足"情况或许多其他必须执行此操作的情况.我想为脚本实现一种"停止/恢复"机制.

  • 在车站:脚本退出和保存其当前状态.
  • 在简历:剧本开始,但是从最新的保存状态持续

我将使用pickle和信号模块来实现它.

我很高兴听到如何用pythonic方式做到这一点.

谢谢!

python pickle

8
推荐指数
1
解决办法
4191
查看次数

提交代码以执行到 concurrent.futures.ProcessPool 中的所有进程

语境:

  • 一个使用 aconcurrent.futures.process.ProcessPool来执行代码的Python 应用服务器
  • 我们有时想在不重启整个服务器进程的情况下热重载导入的代码

(是的,我知道importlib.reload有警告)

为了让它工作,我想我必须在进程池管理的importlib.reload每个multiprocessing进程中执行。

有没有办法向进程池中的所有进程提交一些东西?

python parallel-processing multiprocessing python-multiprocessing process-pool

8
推荐指数
1
解决办法
153
查看次数

Web应用程序Kerberos身份验证:与Cookie结合使用的正确方法是什么?

场景:

  • 企业,防火墙后的Python Web应用程序.
  • 应使用Kerberos对用户进行身份验证.
  • 我有工作代码从服务器(Negotiate标题等)发送正确的响应,并使用kerberos-sspi包获取访问应用程序的用户的Windows用户名

我对Kerberos的经验不多,但对Web应用程序有一些经验.

在我创建的其他使用内置用户数据库的Python Web应用程序中,身份验证流程通常如下:

  • 对于每个请求,检查请求是否具有包含用户标识的(签名)cookie(或某些变体 - 例如使用存储用户标识的flask-login flask.session)
  • 如果cookie存在,则正常响应.
  • 如果不存在此类cookie,则重定向到/login/显示用户名/密码表单.POST要/login/验证正确的用户名/密码,请设置安全cookie并重定向到?next=查询参数中指定的URL .

我的问题是:

  • 在经过Kerberos身份验证的Web应用程序中,身份验证流程是否类似?
  • 即我应该做以下事情:

    • 对于每个请求,请检查请求是否包含包含用户ID的(已签名)cookie
    • 如果cookie存在,则正常响应.
    • 如果不存在此类cookie,则重定向到/login/./login/做必要的东西来确定用户是谁(即发送Negotiate标题,用于kerberos_sspi查找用户名等),然后设置安全cookie并重定向到?next=查询参数中指定的URL .
  • 还是应该以其他方式处理?

windows cookies kerberos http

7
推荐指数
1
解决办法
424
查看次数

为什么postgresql不会立即开始返回行?

以下查询立即返回数据:

SELECT time, value from data order by time limit 100;
Run Code Online (Sandbox Code Playgroud)

如果没有limit子句,服务器开始返回行需要很长时间:

SELECT time, value from data order by time;
Run Code Online (Sandbox Code Playgroud)

我通过使用查询工具(psql)和使用API​​查询来观察这一点.

问题/问题:

  • 在开始返回行之前,服务器必须执行的工作量对于两个select语句应该相同.正确?
  • 如果是这样,为什么案例2有延迟?
  • 是否存在一些我不理解的基本RDBMS问题?
  • 有没有办法让postgresql开始将结果行返回给客户端而不会暂停,对于案例2也是如此?
  • 编辑(见下文).看起来setFetchSize是解决这个问题的关键.在我的例子中,我使用SQLAlchemy从python执行查询.如何为单个查询设置该选项(由执行session.execute)?我使用psycopg2驱动程序.

该列time是主键,BTW.

编辑:

我相信这个摘自JDBC驱动程序的文档描述了问题和解决方案的提示(我仍然需要帮助 - 请参阅上面的最后一个项目列表项目):

默认情况下,驱动程序立即收集查询的所有结果.这对于大型数据集来说可能不方便,因此JDBC驱动程序提供了一种将ResultSet基于数据库游标并仅获取少量行的方法.

和

将代码更改为游标模式就像将Statement的获取大小设置为适当的大小一样简单.将获取大小设置为0将导致所有行被缓存(默认行为).

// make sure autocommit is off
conn.setAutoCommit(false);
Statement st = conn.createStatement();

// Turn use of the cursor on.
st.setFetchSize(50);
Run Code Online (Sandbox Code Playgroud)

python sql postgresql sqlalchemy

6
推荐指数
1
解决办法
1127
查看次数

分离业务逻辑和模型

我有这个问题一直困扰着我一段时间.乍一看,它似乎是一个相当基本的问题,但似乎没有一个明确的答案.我提出这个问题的基础是一个通过SQLAlchemy使用PostgreSQL的Python项目,但使用的特定语言和工具并不重要.

基本问题是在使用ORM时放置逻辑?更具体地说,我的映射类的方法应该采用什么逻辑?

似乎有一些明确的案例,例如,属性的基本验证,例如最小长度或某些电子邮件地址是否属于ORM层(甚至是数据库本身).

一个简单的具体示例是有序的,因此我们假设我们正在存储用户对象,用户有一个电子邮件地址(这是他们唯一的ID),一个密码和一个激活ID.创建帐户时,会分配激活ID并将其邮寄给用户,然后使用该ID设置密码.

我们来看几个场景:

  • 用户创建一个帐户;
  • 用户激活帐户(即设置密码).

因此,当用户创建帐户时,我们需要运行一些基本验证:

  • 电子邮件地址正确=> ORM;
  • 电子邮件地址unique => ORM或数据库(唯一约束);
  • 设置随机激活id => ORM

当用户激活她的帐户时,我遇到了问题.我想验证提供的密码(例如足够长?足够的数字?),但模型应使用某种散列或加密算法存储密码.似乎有两种选择:

1:检查模型之外的激活ID和密码有效性,散列密码然后将User.password设置为散列,并将User.activation id设置为null(以指示活动帐户).

2:创建一个User.activate(activation_id,password)方法,该方法验证每个并相应地设置User.password和User.activation_id属性.

3:混合选项,执行选项1,但在设置密码时设置某种挂钩或事件激活_id = null(如果我们假设可以设置激活ID或密码,则此挂钩满足基本一致性属性该模型).

我在互联网上搜索过,有些消息来源谈论这个问题(包括一些SO问题),但没有人真正回答这个问题.

python orm sqlalchemy separation-of-concerns

6
推荐指数
0
解决办法
1419
查看次数

pyramid_who(repoze.who)是对金字塔进行身份验证的首选方式吗?

我刚开始学习Pyramid Framework.pyramid_who(repoze.who)是进行身份验证的首选方式吗?

我还有其他选择吗?

python authentication repoze.who pyramid

5
推荐指数
1
解决办法
1763
查看次数

带有本地用户数据库的 Spring Boot oauth2

我通过添加依赖项spring-boot-starter-oauth2-client并在application.properties.

\n

在Spring Boot 和 OAuth2指南中,有一节“如何添加本地用户数据库”:

\n
\n

如何添加本地用户数据库

\n

许多应用程序需要在本地保存有关其用户的数据,即使将身份验证委托给外部提供商也是如此。我们不在这里显示代码,但只需两步即可轻松完成。

\n
    \n
  1. 为您的数据库选择一个后端,并为适合您的需要并可以从外部身份验证完全或部分填充的自定义 User 对象设置一些存储库(例如使用 Spring Data)。

    \n
  2. \n
  3. 实现并公开 OAuth2UserService 以调用授权\n服务器以及您的数据库。您的实现可以委托给\n默认实现,这将完成调用授权服务器的繁重工作。您的实现应该返回扩展您的自定义 User 对象并实现 OAuth2User 的内容。

    \n
  4. \n
\n

提示:在 User 对象中添加一个字段,以链接到外部提供程序中的唯一标识符(不是用户名\xe2\x80\x99s,而是外部提供程序中帐户的唯一标识符\xe2\x80\x99s\n) )。

\n
\n

我进行了一些搜索,但没有找到摘录中描述的场景的代码示例。

\n

实现上述场景的最佳方法是什么?

\n

我想主要部分是:

\n
    \n
  • OIDC登录时,如果数据库不存在则自动创建用户
  • \n
  • Web 应用程序控制器方法可以访问代表登录用户的数据库对象
  • \n
\n

更新:

\n

该指南有一个 github 问题评论,建议查看 custom-error指南源代码中的示例。我想第一部分(在 OIDC 登录时,如果用户不存在,则自动创建用户)可以在调用DefaultOAuth2UserService().loadUser(request). 但是第二部分呢 - 如何让我的自定义 db-backed-user-object 可供我的 Web 应用程序的控制器方法使用?

\n
@Bean\npublic OAuth2UserService<OAuth2UserRequest, …
Run Code Online (Sandbox Code Playgroud)

java spring spring-mvc spring-security spring-boot

5
推荐指数
1
解决办法
3339
查看次数