使用SQLAlchemy,我与两个表有一对多的关系 - 用户和分数.我试图查询排名前10位的用户,这些用户按过去X天的总分进行排序.
users:
id
user_name
score
scores:
user
score_amount
created
Run Code Online (Sandbox Code Playgroud)
我目前的查询是:
top_users = DBSession.query(User).options(eagerload('scores')).filter_by(User.scores.created > somedate).order_by(func.sum(User.scores).desc()).all()
Run Code Online (Sandbox Code Playgroud)
我知道这显然不正确,这只是我最好的猜测.但是,在查看文档和谷歌搜索后,我找不到答案.
编辑:如果我勾勒出MySQL查询的样子,也许会有所帮助:
SELECT user.*, SUM(scores.amount) as score_increase
FROM user LEFT JOIN scores ON scores.user_id = user.user_id
WITH scores.created_at > someday
ORDER BY score_increase DESC
Run Code Online (Sandbox Code Playgroud) 我遇到了一个问题,我没有在StackOverflow上遇到任何人,甚至谷歌也没有.
我的主要目标是能够用另一个字符串替换文件中字符串的出现.有没有办法能够访问文件中的所有行.
问题是,当我尝试读取大文本文件(1-2 gb)的文本时,python只读取它的一个子集.
例如,我会做一个非常简单的命令,例如:
newfile = open("newfile.txt","w")
f = open("filename.txt","r")
for line in f:
replaced = line.replace("string1", "string2")
newfile.write(replaced)
Run Code Online (Sandbox Code Playgroud)
它只写入原始文件的前382 MB.以前有人遇到过这个问题吗?
我尝试了一些不同的解决方案,例如使用:
import fileinput
for i, line in enumerate(fileinput.input("filename.txt", inplace=1)
sys.stdout.write(line.replace("string1", "string2")
Run Code Online (Sandbox Code Playgroud)
但它具有相同的效果.也不会以诸如使用的方式读取文件
f.read(10000)
Run Code Online (Sandbox Code Playgroud)
我把它缩小到很大程度上可能是一个解决问题而不是写作问题,因为它只是简单地打印出来的.我知道还有更多的线条.当我在像Vim这样的全文编辑器中打开它时,我可以看到最后一行应该是什么,并且它不是python打印的最后一行.
任何人都可以提供任何建议或尝试吗?
我目前正在使用32位版本的Windows XP,3.25 GB的ram,并运行Python 2.7
*找到编辑解决方案(谢谢Lattyware).使用迭代器
def read_in_chunks(file, chunk_size=1000):
while True:
data = file.read(chunk_size)
if not data: break
yield data
Run Code Online (Sandbox Code Playgroud) 如何在Python for循环中使用多个条件?
for example in java:
int[] n={1,2,3,4,6,7};
for(int i=0;i<n.length && i<5 ;i++){
//do sth
}
Run Code Online (Sandbox Code Playgroud)
循环python的剂量如何?
我编写了Python脚本来处理大量的大文本文件,并且可能会运行很多时间.有时,需要停止正在运行的脚本并在以后恢复它.停止脚本的可能原因是程序崩溃,磁盘"空间不足"情况或许多其他必须执行此操作的情况.我想为脚本实现一种"停止/恢复"机制.
我将使用pickle和信号模块来实现它.
我很高兴听到如何用pythonic方式做到这一点.
谢谢!
语境:
concurrent.futures.process.ProcessPool来执行代码的Python 应用服务器(是的,我知道importlib.reload有警告)
为了让它工作,我想我必须在进程池管理的importlib.reload每个multiprocessing进程中执行。
有没有办法向进程池中的所有进程提交一些东西?
python parallel-processing multiprocessing python-multiprocessing process-pool
场景:
Negotiate标题等)发送正确的响应,并使用kerberos-sspi包获取访问应用程序的用户的Windows用户名我对Kerberos的经验不多,但对Web应用程序有一些经验.
在我创建的其他使用内置用户数据库的Python Web应用程序中,身份验证流程通常如下:
flask.session)/login/显示用户名/密码表单.POST要/login/验证正确的用户名/密码,请设置安全cookie并重定向到?next=查询参数中指定的URL .我的问题是:
即我应该做以下事情:
/login/./login/做必要的东西来确定用户是谁(即发送Negotiate标题,用于kerberos_sspi查找用户名等),然后设置安全cookie并重定向到?next=查询参数中指定的URL .还是应该以其他方式处理?
以下查询立即返回数据:
SELECT time, value from data order by time limit 100;
Run Code Online (Sandbox Code Playgroud)
如果没有limit子句,服务器开始返回行需要很长时间:
SELECT time, value from data order by time;
Run Code Online (Sandbox Code Playgroud)
我通过使用查询工具(psql)和使用API查询来观察这一点.
问题/问题:
setFetchSize是解决这个问题的关键.在我的例子中,我使用SQLAlchemy从python执行查询.如何为单个查询设置该选项(由执行session.execute)?我使用psycopg2驱动程序.该列time是主键,BTW.
编辑:
我相信这个摘自JDBC驱动程序的文档描述了问题和解决方案的提示(我仍然需要帮助 - 请参阅上面的最后一个项目列表项目):
默认情况下,驱动程序立即收集查询的所有结果.这对于大型数据集来说可能不方便,因此JDBC驱动程序提供了一种将ResultSet基于数据库游标并仅获取少量行的方法.
和
将代码更改为游标模式就像将Statement的获取大小设置为适当的大小一样简单.将获取大小设置为0将导致所有行被缓存(默认行为).
// make sure autocommit is off
conn.setAutoCommit(false);
Statement st = conn.createStatement();
// Turn use of the cursor on.
st.setFetchSize(50);
Run Code Online (Sandbox Code Playgroud) 我有这个问题一直困扰着我一段时间.乍一看,它似乎是一个相当基本的问题,但似乎没有一个明确的答案.我提出这个问题的基础是一个通过SQLAlchemy使用PostgreSQL的Python项目,但使用的特定语言和工具并不重要.
基本问题是在使用ORM时放置逻辑?更具体地说,我的映射类的方法应该采用什么逻辑?
似乎有一些明确的案例,例如,属性的基本验证,例如最小长度或某些电子邮件地址是否属于ORM层(甚至是数据库本身).
一个简单的具体示例是有序的,因此我们假设我们正在存储用户对象,用户有一个电子邮件地址(这是他们唯一的ID),一个密码和一个激活ID.创建帐户时,会分配激活ID并将其邮寄给用户,然后使用该ID设置密码.
我们来看几个场景:
因此,当用户创建帐户时,我们需要运行一些基本验证:
当用户激活她的帐户时,我遇到了问题.我想验证提供的密码(例如足够长?足够的数字?),但模型应使用某种散列或加密算法存储密码.似乎有两种选择:
1:检查模型之外的激活ID和密码有效性,散列密码然后将User.password设置为散列,并将User.activation id设置为null(以指示活动帐户).
2:创建一个User.activate(activation_id,password)方法,该方法验证每个并相应地设置User.password和User.activation_id属性.
3:混合选项,执行选项1,但在设置密码时设置某种挂钩或事件激活_id = null(如果我们假设可以设置激活ID或密码,则此挂钩满足基本一致性属性该模型).
我在互联网上搜索过,有些消息来源谈论这个问题(包括一些SO问题),但没有人真正回答这个问题.
我刚开始学习Pyramid Framework.pyramid_who(repoze.who)是进行身份验证的首选方式吗?
我还有其他选择吗?
我通过添加依赖项spring-boot-starter-oauth2-client并在application.properties.
在Spring Boot 和 OAuth2指南中,有一节“如何添加本地用户数据库”:
\n\n\n如何添加本地用户数据库
\n许多应用程序需要在本地保存有关其用户的数据,即使将身份验证委托给外部提供商也是如此。我们不在这里显示代码,但只需两步即可轻松完成。
\n\n
\n- \n
为您的数据库选择一个后端,并为适合您的需要并可以从外部身份验证完全或部分填充的自定义 User 对象设置一些存储库(例如使用 Spring Data)。
\n- \n
实现并公开 OAuth2UserService 以调用授权\n服务器以及您的数据库。您的实现可以委托给\n默认实现,这将完成调用授权服务器的繁重工作。您的实现应该返回扩展您的自定义 User 对象并实现 OAuth2User 的内容。
\n提示:在 User 对象中添加一个字段,以链接到外部提供程序中的唯一标识符(不是用户名\xe2\x80\x99s,而是外部提供程序中帐户的唯一标识符\xe2\x80\x99s\n) )。
\n
我进行了一些搜索,但没有找到摘录中描述的场景的代码示例。
\n实现上述场景的最佳方法是什么?
\n我想主要部分是:
\n更新:
\n该指南有一个 github 问题评论,建议查看 custom-error指南源代码中的示例。我想第一部分(在 OIDC 登录时,如果用户不存在,则自动创建用户)可以在调用DefaultOAuth2UserService().loadUser(request). 但是第二部分呢 - 如何让我的自定义 db-backed-user-object 可供我的 Web 应用程序的控制器方法使用?
@Bean\npublic OAuth2UserService<OAuth2UserRequest, …Run Code Online (Sandbox Code Playgroud) python ×8
sqlalchemy ×3
cookies ×1
file-io ×1
filesize ×1
http ×1
java ×1
kerberos ×1
orm ×1
pickle ×1
postgresql ×1
process-pool ×1
pyramid ×1
repoze.who ×1
spring ×1
spring-boot ×1
spring-mvc ×1
sql ×1
text ×1
windows ×1