小编Sau*_*hra的帖子

当试图在支持bash的最新Windows 10版本上使用Linux版本的Oracle JDK时,我在尝试调用java二进制文件时遇到提示挂起的问题.

键入甚至像java -version挂起一样简单的东西,我必须终止进程以恢复控制.

有人这个工作了吗？

谷歌确实有很多解决这个问题的方法，但不幸的是，即使在尝试了所有的可能性之后，我也无法让它工作，所以请耐心等待，看看是否有什么让你感到震惊的事情。

操作系统：MAC

火花：1.6.3 (2.10)

Jupyter 笔记本：4.4.0

蟒蛇：2.7

斯卡拉：2.12.1

我能够成功安装并运行 Jupyter notebook。接下来，我尝试将其配置为与 Spark 一起使用，为此我使用 Apache Toree 安装了 Spark 解释器。现在，当我尝试在笔记本中运行任何 RDD 操作时，会抛出以下错误

Error from python worker:
  /usr/bin/python: No module named pyspark
PYTHONPATH was:
  /private/tmp/hadoop-xxxx/nm-local-dir/usercache/xxxx/filecache/33/spark-assembly-1.6.3-hadoop2.2.0.jar

已经尝试过的事情： 1. 在 .bash_profile 中设置 PYTHONPATH 2. 能够在本地的 python-cli 中导入“pyspark” 3. 尝试将解释器 kernel.json 更新为以下内容

{
  "language": "python",
  "display_name": "Apache Toree - PySpark",
  "env": {
    "__TOREE_SPARK_OPTS__": "",
    "SPARK_HOME": "/Users/xxxx/Desktop/utils/spark",
    "__TOREE_OPTS__": "",
    "DEFAULT_INTERPRETER": "PySpark",
    "PYTHONPATH": "/Users/xxxx/Desktop/utils/spark/python:/Users/xxxx/Desktop/utils/spark/python/lib/py4j-0.9-src.zip:/Users/xxxx/Desktop/utils/spark/python/lib/pyspark.zip:/Users/xxxx/Desktop/utils/spark/bin",
  "PYSPARK_SUBMIT_ARGS": "--master local --conf spark.serializer=org.apache.spark.serializer.KryoSerializer",
    "PYTHON_EXEC": "python"
  },
  "argv": [
    "/usr/local/share/jupyter/kernels/apache_toree_pyspark/bin/run.sh",
    "--profile",
    "{connection_file}"
  ] …

我在尝试创建REST时遇到异常堆栈跟踪

org.jboss.resteasy.core.NoMessageBodyWriterFoundFailure:找不到MessageBodyWriter类型的响应对象:媒体类型的java.lang.Boolean中:应用/八位字节流 在org.jboss.resteasy.core.ServerResponseWriter.writeNomapResponse(ServerResponseWriter.java :67)在org.jboss.resteasy.core.SynchronousDispatcher.writeResponse(SynchronousDispatcher.java:448)在org.jboss.resteasy.core.SynchronousDispatcher.invoke(SynchronousDispatcher.java:397)在org.jboss.resteasy.core. AsynchronousDispatcher.invoke(AsynchronousDispatcher.java:253)在org.jboss.resteasy.core.SynchronousDispatcher.invoke(SynchronousDispatcher.java:200)

我曾尝试在计算器外,包括1.确保有罐子"RestEasy的-JAXB提供商-3.0.12.Final.jar"和抛弃提供商2.即使有其中一方,而不是两个3在其他岗位多的建议.改变其他jaxrs jar版本

直到现在我能够得出结论:

1. 问题出在服务器端而不是客户端.客户端只收到500个HTTP错误代码
2. 服务器站点请求到达但响应未被回送

3. 如果你仔细检查错误,我得到的响应找不到'application/octec-stream',即使在服务元数据中我定义了'application/json'.所以我不知道为什么应用程序无法获取json解析器

   @Path("/api/ver1.0/lock")
   public interface LockingService {
   
       /**
        * Interface method to request a single lock.
        *
        * @param lockRequest
        *            lockRequest
        * @return Boolean
        */
       @POST
       @Path("/request")
       @Consumes("application/json")
       Boolean requestLock(LockRequest lockRequest);
   

   Run Code Online (Sandbox Code Playgroud)

4. 除了resteasy jar版本之外,我可以使用相同的代码工作

工作

resteasy-jackson-provider-2.3.1.GA.jar
resteasy-jaxb-provider-2.3.1.GA.jar
resteasy-jaxrs-2.3.1.GA.jar
resteasy-jettison-provider-2.3.1.GA.jar
resteasy-multipart-provider-2.3.1.GA.jar
resteasy-spring-2.3.1.GA.jar
scannotation-1.0.3.jar

不工作

resteasy-jackson-provider-3.0.12.Final.jar
resteasy-jaxb-provider-3.0.12.Final.jar
resteasy-jaxrs-3.0.12.Final.jar
resteasy-multipart-provider-3.0.12.Final.jar
resteasy-spring-3.0.12.Final.jar

欢迎任何帮助.

我需要能够访问在 Python 运算符 python_callable 中定义为 DAG 定义的一部分的 default_args。也许这是我对 python 或气流的不熟悉，但有人可以指导如何实现这一点。

以下是我试图实现的代码示例

default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'email': 'xyz@xyz.com',
    'email_on_failure': 'xyz@xyz.com',
    'email_on_retry': False,
    'retries': 1,
    'retry_delay': timedelta(minutes=5),
    'start_date': datetime(2017, 5, 15, 23, 20),
    'end_date': datetime(2017, 5, 16, 23, 45),
    'touchfile_path': '/user/myname/touchfiles/',
}

dag = DAG(
    'test',
    default_args=default_args,
    template_searchpath=['/Users/myname/Desktop/utils/airflow/resources'],
    user_defined_macros=dict(SCHEMA_NAME='abc'),
    #schedule_interval='*/2 * * * * ')
    schedule_interval='@once')

def webhdfs_touchfile_create(ds, *args, **kwargs):
    web_hdfs_hook = WebHDFSHook('webhdfs_default')
    client = web_hdfs_hook.get_conn()
    client.write("/user/myname/airflow_hdfs","stringToWrite")
    pp.pprint(kwargs)

task1 = PythonOperator(
    task_id='task1',
    provide_context=True, #enabling this would allow to pass …