小编har*_*der的帖子

Hibernate和Spring Data JPA有什么区别

Hibernate和Spring Data JPA之间的主要区别是什么?什么时候不应该使用Hibernate或Spring Data JPA?另外,什么时候Spring JDBC模板的性能比Hibernate/Spring Data JPA好?

java spring hibernate jpa spring-data-jpa

182
推荐指数
4
解决办法
8万
查看次数

什么是Apache Spark Mllib中ALS机器学习算法的排名

我想尝试一下ALS机器学习算法的例子.我的代码工作正常,但我不理解rank算法中使用的参数.

我在java中有以下代码

    // Build the recommendation model using ALS
    int rank = 10;
    int numIterations = 10;
    MatrixFactorizationModel model = ALS.train(JavaRDD.toRDD(ratings),
            rank, numIterations, 0.01);
Run Code Online (Sandbox Code Playgroud)

我已经阅读了一些内容,它是模型中潜在因素的数量.

假设我有一个包含100行的(用户,产品,评级)数据集.应该是什么值rank(潜在因素).

algorithm machine-learning apache-spark apache-spark-mllib

14
推荐指数
1
解决办法
5577
查看次数

Python:如何将所有记录器的日志记录级别设置为 INFO

我正在使用以下配置

import logging


FORMAT = '%(levelname)s: %(asctime)-15s: %(filename)s: %(funcName)s: %(module)s: %(message)s'
logging.basicConfig(filename="/var/log/out.log", level=logging.INFO, format=FORMAT)
LOGGER = logging.getLogger("Customer")
Run Code Online (Sandbox Code Playgroud)

然后是我导入的一些库。这些库具有调试日志记录语句,例如

 LOGGER = logging.getLogger(__name__)
 LOGGER.debug('add_timeout: added timeout %s; deadline=%s at %s',
                     timeout_id, deadline, timeout_at)
Run Code Online (Sandbox Code Playgroud)

当我运行我的程序时,它也会打印内部库的调试日志。我想完全避免调试日志。

python logging

13
推荐指数
1
解决办法
6221
查看次数

如何将Apache Spark与Spring MVC Web应用程序集成以进行交互式用户会话

我正在尝试使用Apache Spark MLlib构建一个Movie Recommender系统.我在java中编写了一个推荐代码,并且在使用spark-submit命令运行时工作正常.

我的运行命令看起来像这样

bin/spark-submit --jars /opt/poc/spark-1.3.1-bin-hadoop2.6/mllib/spark-mllib_2.10-1.0.0.jar --class "com.recommender.MovieLensALSExtended" --master local[4] /home/sarvesh/Desktop/spark-test/recommender.jar /home/sarvesh/Desktop/spark-test/ml-latest-small/ratings.csv /home/sarvesh/Desktop/spark-test/ml-latest-small/movies.csv

现在我想在真实场景中使用我的推荐器,作为一个Web应用程序,我可以在其中查询推荐器以给出一些结果.

我想构建一个Spring MVC Web应用程序,它可以与Apache Spark Context交互,并在被问到时给我结果.

我的问题是我如何构建一个与群集上运行的Apache Spark交互的应用程序.因此,当请求到达控制器时,它应该接受用户查询并获取与spark-submit控制台上的命令输出相同的结果.

据我所知,我发现我们可以使用Spark SQL,与JDBC集成.但我没有找到任何好的例子.

提前致谢.

java machine-learning spring-mvc apache-spark apache-spark-mllib

12
推荐指数
1
解决办法
4059
查看次数

如何使用 Google Play Publisher API 将 app bundle (.aab) 上传到 Play 商店

我已经配置并使用 API 上传 .apk 文件,并且使用此代码文件可以完美运行。

    """Uploads an apk to the alpha track."""

import argparse
import sys
from apiclient import sample_tools
from oauth2client import client

TRACK = 'alpha'  # Can be 'alpha', beta', 'production' or 'rollout'

# Declare command-line flags.
argparser = argparse.ArgumentParser(add_help=False)
argparser.add_argument('package_name',
                       help='The package name. Example: com.android.sample')
argparser.add_argument('apk_file',
                       nargs='?',
                       default='test.apk',
                       help='The path to the APK file to upload.')


def main(argv):
  # Authenticate and construct service.
  service, flags = sample_tools.init(
      argv,
      'androidpublisher',
      'v3',
      __doc__,
      __file__, parents=[argparser],
      scope='https://www.googleapis.com/auth/androidpublisher')

  # Process flags …
Run Code Online (Sandbox Code Playgroud)

python google-play google-play-developer-api

7
推荐指数
2
解决办法
1719
查看次数

当我们可以创建String s ="abc"时,需要String s = new String("abc")

据我所知

String s = new String("abc") 将创造两个对象 -

  1. String常量池中的一个(如果"abc"尚未在常量池中)
  2. 一个在堆内存中

虽然存在关于实际创建多少个对象以及在何处创建的理解.

无论如何,我有以下问题 -

  1. 为什么在String类的java文档中没有涉及将创建多少个对象以及在哪里?
  2. 为什么new String(String)在String类中提供了为什么字符串是不可变的?.也可以假设所有由String s = "abc"或创建的字符串String s = new String("abc")都可以在String常量池中使用?
  3. 在创建或附加的字符串文字中,StringBuilder或者StringBuffer它们也在字符串常量池中,或者它们仅保留在堆内存中.

编辑

intern()方法的java文档清楚地讨论了常量池,但没有任何内容可以这样说String(String).

java string

6
推荐指数
1
解决办法
2312
查看次数

如何在独立模式下并行运行两个spark作业

我有火花工作,我处理文件,然后执行以下步骤.

1. Load the file into DataFrame
2. Push the DataFrame to elasticsearch
3. Run some aggregations on dataframe and save to cassandra
Run Code Online (Sandbox Code Playgroud)

我为此编写了一个spark作业,其中我有以下函数调用

writeToES(df)
writeToCassandra(df)
Run Code Online (Sandbox Code Playgroud)

现在这两个操作一个接一个地运行.但是这两个可以并行运行.

我怎样才能在一个火花工作中做到这一点.

我可以为ES和Cassandra写两个火花作业.但他们将使用多个端口,我想避免.

scala elasticsearch apache-spark

6
推荐指数
1
解决办法
1028
查看次数

elasticsearch-dsl聚合仅返回10个结果。如何改变这个

我正在使用elasticsearch-dsl python库连接到elasticsearch并进行聚合。

我正在关注代码

search.aggs.bucket('per_date', 'terms', field='date')\
        .bucket('response_time_percentile', 'percentiles', field='total_time',
                percents=percentiles, hdr={"number_of_significant_value_digits": 1})
response = search.execute()
Run Code Online (Sandbox Code Playgroud)

这工作正常,但仅返回10个结果 response.aggregations.per_ts.buckets

我想要所有结果

我试图用一种溶液size=0中提到了这个问题

search.aggs.bucket('per_ts', 'terms', field='ts', size=0)\
        .bucket('response_time_percentile', 'percentiles', field='total_time',
                percents=percentiles, hdr={"number_of_significant_value_digits": 1})

response = search.execute()
Run Code Online (Sandbox Code Playgroud)

但这会导致错误

TransportError(400, u'parsing_exception', u'[terms] failed to parse field [size]')
Run Code Online (Sandbox Code Playgroud)

python elasticsearch elasticsearch-dsl

5
推荐指数
2
解决办法
1841
查看次数

ImportError:无法在python中导入名称COMError

我想用以下代码将docx文件转换为pdf

import sys
import os
import comtypes.client


wdFormatPDF = 17

in_file = os.path.abspath(sys.argv[1])
out_file = os.path.abspath(sys.argv[2])

word = comtypes.client.CreateObject('Word.Application')
doc = word.Documents.Open(in_file)
doc.SaveAs(out_file, FileFormat=wdFormatPDF)
doc.Close()
word.Quit()
Run Code Online (Sandbox Code Playgroud)

这是一个错误

ImportError: cannot import name COMError
Run Code Online (Sandbox Code Playgroud)

我已经安装了comtypes包.

我是python的新手,我无法弄清楚如何解决这个问题.

[编辑]

堆栈跟踪

Traceback (most recent call last):
  File "converttopdf.py", line 3, in <module>
    import comtypes.client
  File "/usr/local/lib/python2.7/dist-packages/comtypes-1.1.2-py2.7.egg/comtypes/__init__.py", line 23, in <module>
    from _ctypes import COMError
ImportError: cannot import name COMError
Run Code Online (Sandbox Code Playgroud)

python pdf-generation python-2.7

4
推荐指数
1
解决办法
4477
查看次数

在python中检查ip地址是否属于A类、B类和C类

如何在Python中确定IP地址的类别。我正在使用 python 的 ipaddress 模块。以下是类定义

Class   Private Networks    Subnet Mask Address Range
A   10.0.0.0    255.0.0.0   10.0.0.0 - 10.255.255.255
B   172.16.0.0 - 172.31.0.0 255.240.0.0 172.16.0.0 - 172.31.255.255
C   192.168.0.0 255.255.0.0 192.168.0.0 - 192.168.255.255
Run Code Online (Sandbox Code Playgroud)

给定一个IP,我如何检查它是否属于A类、B类或C类

python ip

3
推荐指数
1
解决办法
8864
查看次数