我在 postgres 后端遇到气流初始化问题
Ubuntu:18.04.1 气流:v1.10.6 Postgres:10.10 Pyhton 3.6
当我跑
airflow initdb
Run Code Online (Sandbox Code Playgroud)
我得到
[2019-11-22 10:17:23,564] {db.py:368} INFO - Creating tables
INFO [alembic.runtime.migration] Context impl PostgresqlImpl.
INFO [alembic.runtime.migration] Will assume transactional DDL.
Traceback (most recent call last):
File "/usr/local/lib/python3.6/dist-packages/sqlalchemy/engine/base.py", line 1246, in _execute_context
cursor, statement, parameters, context
File "/usr/local/lib/python3.6/dist-packages/sqlalchemy/engine/default.py", line 581, in do_execute
cursor.execute(statement, parameters)
psycopg2.errors.UndefinedTable: relation "airflow.slot_pool" does not exist
LINE 2: FROM airflow.slot_pool
^
The above exception was the direct cause of the following exception:
Traceback (most recent …Run Code Online (Sandbox Code Playgroud) 我正在尝试在特定队列中创建一个Sqoop作业,但它不起作用.
我尝试了两件事:
1st:在作业创建中声明队列
sqoop job \
--create myjob \
-- import \
--connect jdbc:teradata://RCT/DATABASE=MYDB \
-Dmapred.job.queue.name=shortduration \
--driver com.teradata.jdbc.TeraDriver \
--username DBUSER -P \
--query "$query" \
--target-dir /data/source/dest/$i \
--check-column DAT_CRN_AGG \
--incremental append \
--last-value 2001-01-01 \
--split-by NUM_CTR
Run Code Online (Sandbox Code Playgroud)
但它会抛出一个解析参数错误 -Dmapred.job.queue.name=shortduration
第二:删除-Dmapred.job.queue.name=shortduration创造的职位.创造就业机会很好.但是无法指定应该使用哪个队列
我失去了在这个队列中完成工作的希望
感谢您提供的任何帮助!
编辑:使用导入工作,sqoop import -Dmapred.job.queue.name=shortduration但sqoop工作不起作用