小编air*_*ide的帖子

气流 initdb slot_pool 不存在

我在 postgres 后端遇到气流初始化问题

Ubuntu:18.04.1 气流:v1.10.6 Postgres:10.10 Pyhton 3.6

当我跑

airflow initdb
Run Code Online (Sandbox Code Playgroud)

我得到

    [2019-11-22 10:17:23,564] {db.py:368} INFO - Creating tables
INFO  [alembic.runtime.migration] Context impl PostgresqlImpl.
INFO  [alembic.runtime.migration] Will assume transactional DDL.
Traceback (most recent call last):
  File "/usr/local/lib/python3.6/dist-packages/sqlalchemy/engine/base.py", line 1246, in _execute_context
    cursor, statement, parameters, context
  File "/usr/local/lib/python3.6/dist-packages/sqlalchemy/engine/default.py", line 581, in do_execute
    cursor.execute(statement, parameters)
psycopg2.errors.UndefinedTable: relation "airflow.slot_pool" does not exist
LINE 2: FROM airflow.slot_pool
             ^


The above exception was the direct cause of the following exception:

Traceback (most recent …
Run Code Online (Sandbox Code Playgroud)

postgresql airflow

6
推荐指数
1
解决办法
3365
查看次数

在特定队列上运行sqoop作业

我正在尝试在特定队列中创建一个Sqoop作业,但它不起作用.

我尝试了两件事:

1st:在作业创建中声明队列

sqoop job \
         --create myjob \
         -- import \
         --connect jdbc:teradata://RCT/DATABASE=MYDB \
         -Dmapred.job.queue.name=shortduration \
         --driver com.teradata.jdbc.TeraDriver \
         --username DBUSER -P \
         --query "$query" \
         --target-dir /data/source/dest/$i \
         --check-column DAT_CRN_AGG \
         --incremental  append \
         --last-value 2001-01-01 \
         --split-by NUM_CTR
Run Code Online (Sandbox Code Playgroud)

但它会抛出一个解析参数错误 -Dmapred.job.queue.name=shortduration

第二:删除-Dmapred.job.queue.name=shortduration创造的职位.创造就业机会很好.但是无法指定应该使用哪个队列

我失去了在这个队列中完成工作的希望

感谢您提供的任何帮助!

编辑:使用导入工作,sqoop import -Dmapred.job.queue.name=shortduration但sqoop工作不起作用

queue hadoop sqoop

2
推荐指数
1
解决办法
5302
查看次数

标签 统计

airflow ×1

hadoop ×1

postgresql ×1

queue ×1

sqoop ×1