小编tih*_*iho的帖子

我想知道是否可以SELECT COUNT(*) FROM TABLE在SQLAlchemy中生成一个语句,而无需明确要求它execute().如果我使用:

session.query(table).count()

然后它产生类似的东西:

SELECT count(*) AS count_1 FROM
    (SELECT table.col1 as col1, table.col2 as col2, ... from table)

使用InnoDB在MySQL中显着变慢.我正在寻找一个不需要表具有已知主键的解决方案,如使用SQLAlchemy获取表中的行数所示.

是否有任何用户友好和有效的功能从DateTime转换为字符串？我正在考虑一些看起来像的东西,string(mydate, mydateformat)例如用于mydate = Dates.now()和mydateformat = Dates.DateFormat("yyyy-mm-dd H:M:S").

我有两个大数据框df1并按df2列分区a，我想有效地计算两a列和另一列的左连接b：

df1.join(df2, on=['a', 'b'], how='left_outer')

当如上编写时，Spark 通过 key 重新排列两个数据帧(a, b)，这是非常低效的。相反，我希望它利用现有的分区a来避免混洗（在每个分区内执行连接），这应该快得多（特别是因为我有进一步的处理步骤可以从这种分区中受益）。

有什么方法可以防止这种洗牌并获得由 分区的结果数据帧a？

请注意，如果它是内部连接，我可以执行以下操作，但是 (1) 我不确定它是否有效，并且无论如何 (2) 它不适用于左连接（我只提供以防万一它会帮助别人）：

df1.join(df2, on=['a'], how='inner').filter(df1.b == df2.b)

PS：两个数据帧都太大无法广播

我将.htaccess文件添加到文件夹以使其受密码保护.我想阻止所有用户能够读取.htaccess文件,因为它显示了我的.htpasswd的位置(我没有权限在此服务器上将此文件放在html树之外).

我尝试了http://www.javascriptkit.com/howto/htaccess8.shtml上的建议,但我仍然可以在网络浏览器上阅读我的.htaccess.这是我的.htaccess:

AuthName "Restricted Area" 
AuthType Basic 
AuthUserFile /home/www/users/mylogin/HTML/some_hidden_dir/.htpasswd 
AuthGroupFile /dev/null 
require valid-user

<Files .htaccess>
order allow,deny
deny from all
</Files>

我错过了什么？

我的目标是生成（在 Windows 下的 Python 中）渲染任何 unicode 字符的位图图像，尤其包括表情符号。我已经安装了几种表情符号友好的字体（包括Symbola）用于测试目的。

到目前为止，我已经尝试过 PIL、matplotlib 和 pygame，但这些都无法在 Windows 下完成（前两个显然可以在某些版本的 Linux / MacOS 上完成，而 pygame 明确限制为最多 0xffff 的字符，这排除了表情符号）。

我发现reportlab能够生成带有表情符号的PDF（虽然它的位图渲染器无法正确渲染它们），但我仍然需要找到一种方法从PDF中提取表情符号字符并将其转换为位图。我觉得必须有一个更简单的方法......

注意：这个问题与Rendering Emoji with PIL有关，但如果另一个库可以完成这项工作，我不一定想使用 PIL

我正在尝试hdfs-site.xml在Windows 7下指定HDFS文件的基本目录(我使用Java SDK 1.8.0_45和Windows SDK 7.1从源代码构建的Hadoop 2.7.1).我无法想象如何提供指定驱动器的路径.

我hdfs-site.xml看起来像这样:

<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>hadoop.tmp.dir</name> <value>XXX</value> </property> </configuration>

并且我尝试了各种值XXX,我测试过hdfs namenode -format,都导致了这两个错误中的一个:

• XXX=D:/tmp/hdp: 15/07/10 23:38:33 ERROR namenode.NameNode: Failed to start namenode. java.lang.IllegalArgumentException: URI has an authority component at java.io.File.<init>(File.java:423) at org.apache.hadoop.hdfs.server.namenode.NNStorage.getStorageDirectory(NNStorage.java:329)
• XXX=D:\tmp\hdp: ERROR common.Util: Syntax error in URI file://D:\tmp\hdp/dfs/name

这给了类似的错误,其他变体:file:///D:/tmp/hdp(从http://hortonworks.com/community/forums/topic/hadoop-configuration-files-issues/)file://D:/tmp/hdp,D:\\tmp\\hdp

如果我使用/D/tmp/hdp它不会崩溃,但进入D我当前驱动器上的文件夹.

我没有想法,有什么建议吗？(注意:除了使用Cygwin,这不是我的选择)