小编mdi*_*ivk的帖子

如何将页面内容设置到屏幕中间?

可能重复:
如何将<div>对齐到页面中间

我需要的是在屏幕中间显示网页的内容,无论屏幕尺寸大小,分辨率高或低,它总是自动调整到屏幕中间.

html css

33
推荐指数
2
解决办法
19万
查看次数

如何让我的HTML页面自动为移动用户调整?

是否有一种简单的方法可以为手机用户自动调整HTML页面?我的页面:http://www.xiexianhui.com/baxjoomla15/index0.html显然不适合我的索尼xperia射线手机.

html mobile

11
推荐指数
1
解决办法
4万
查看次数

如何使用pyspark获取数据框中的不同行?

我知道这只是一个非常简单的问题,很可能已经在某个地方得到了回答,但作为一个初学者,我仍然没有得到它并且正在寻找你的启示,请提前感谢你:

我有一个临时数据帧:

+----------------------------+---+
|host                        |day|
+----------------------------+---+
|in24.inetnebr.com           |1  |
|uplherc.upl.com             |1  |
|uplherc.upl.com             |1  |
|uplherc.upl.com             |1  |
|uplherc.upl.com             |1  |
|ix-esc-ca2-07.ix.netcom.com |1  |
|uplherc.upl.com             |1  |
Run Code Online (Sandbox Code Playgroud)

我需要的是删除主机列中的所有冗余项,换句话说,我需要获得最终的不同结果,如:

+----------------------------+---+
|host                        |day|
+----------------------------+---+
|in24.inetnebr.com           |1  |
|uplherc.upl.com             |1  |
|ix-esc-ca2-07.ix.netcom.com |1  |
|uplherc.upl.com             |1  |
Run Code Online (Sandbox Code Playgroud)

distinct pyspark

11
推荐指数
2
解决办法
2万
查看次数

在 bigquery 中使用 RANGE_BUCKET 时如何显示存储桶名称

这是我在 BigQuery 中对公共数据集的查询:

SELECT RANGE_BUCKET(reputation, [400000, 500000, 600000, 700000, 800000, 900000, 1000000, 1100000, 1200000]) AS reputation_group, COUNT(*) AS count
FROM `bigquery-public-data.stackoverflow.users`
Where reputation > 200000
GROUP BY 1
ORDER By 1
Run Code Online (Sandbox Code Playgroud)

结果如下:

在此处输入图片说明

我如何显示存储桶的范围,而不是将信誉组显示为整数:

0: [0-400000]
1: [400001-500000]
2: [500001-600000]
....
Run Code Online (Sandbox Code Playgroud)

非常感谢。

更新: 非常感谢米哈伊尔的回答,下面有一个小改动:

SELECT bucket, 
  FORMAT('%i - %i', IFNULL(ranges[SAFE_OFFSET(bucket - 1)] + 1, 0), ranges[SAFE_OFFSET(bucket)]) AS reputation_group, 
  COUNT(*) AS COUNT
FROM `bigquery-public-data.stackoverflow.users`,
UNNEST([STRUCT([200000, 400000, 500000, 600000, 700000, 800000, 900000, 1000000, 1100000, 1200000] AS ranges)]),
UNNEST([RANGE_BUCKET(reputation, ranges)]) bucket 
WHERE reputation > …
Run Code Online (Sandbox Code Playgroud)

bucket google-bigquery

9
推荐指数
1
解决办法
677
查看次数

如何使用pyspark从一个月的某一天获得工作日

我有一个dataframe log_df: 在此输入图像描述

我根据以下代码生成一个新的数据帧:

from pyspark.sql.functions import split, regexp_extract 
split_log_df = log_df.select(regexp_extract('value', r'^([^\s]+\s)', 1).alias('host'),
                          regexp_extract('value', r'^.*\[(\d\d/\w{3}/\d{4}:\d{2}:\d{2}:\d{2} -\d{4})]', 1).alias('timestamp'),
                          regexp_extract('value', r'^.*"\w+\s+([^\s]+)\s+HTTP.*"', 1).alias('path'),
                          regexp_extract('value', r'^.*"\s+([^\s]+)', 1).cast('integer').alias('status'),
                          regexp_extract('value', r'^.*\s+(\d+)$', 1).cast('integer').alias('content_size'))
split_log_df.show(10, truncate=False)
Run Code Online (Sandbox Code Playgroud)

新的数据框如下: 在此输入图像描述

我需要另一个列显示每周的日子,创建它的最佳方式是什么?理想情况下,只需在选择中添加类似udf的字段.

非常感谢你.

更新:我的问题与评论中的问题不同,我需要的是根据log_df中的字符串进行计算,而不是基于注释之类的时间戳,所以这不是一个重复的问题.谢谢.

dayofweek apache-spark pyspark

6
推荐指数
3
解决办法
2万
查看次数

How to pass parameter to PythonOperator in Airflow

I just started using Airflow, can anyone enlighten me how to pass a parameter into PythonOperator like below:

t5_send_notification = PythonOperator(
    task_id='t5_send_notification',
    provide_context=True,
    python_callable=SendEmail,
    op_kwargs=None,
    #op_kwargs=(key1='value1', key2='value2'),
    dag=dag,
)

def SendEmail(**kwargs):
    msg = MIMEText("The pipeline for client1 is completed, please check.")
    msg['Subject'] = "xxxx"
    msg['From'] = "xxxx"
    ......
    s = smtplib.SMTP('localhost')
    s.send_message(msg)
    s.quit()
Run Code Online (Sandbox Code Playgroud)

I would like to be able to pass some parameters into the t5_send_notification's callable which is SendEmail, ideally I want to attach the full …

python airflow

6
推荐指数
2
解决办法
4496
查看次数

在python中发送电子邮件时出错:'bytes'对象没有属性'encode'

我需要在 python3 中发送一封电子邮件,下面是脚本,但失败并出现以下错误:

“bytes”对象没有属性“encode”

import smtplib
from email.mime.text import MIMEText
from email.message import EmailMessage

att1 = [u'201902260920AM.log']
msg = MIMEText("EmailOperator testing email.")
msg['Subject'] = "EmailOperator testing email."
msg['From'] = "Airflow_Notification_No_Reply@company.Com"
msg['To'] = "pasle@company.com"

msg['files'] = str(att1).encode("UTF-8")

s = smtplib.SMTP('localhost')
s.send_message(msg)
s.quit()
Run Code Online (Sandbox Code Playgroud)

发送带有附件的电子邮件的正确方法是什么?

如果有人能在这里启发我,非常感谢,提前谢谢。

UPDATE1:您可以在 python3 中运行上述代码,您将收到错误

UPDATE2:确实,我想要附加的实际日志文件是这样的: '/home/pasle/airflow/logs/pipeline_client1/send_email/2019-02-27T01:40:38.451894+00:00/1.log'

我需要发送带有多个附件的电子邮件,谢谢您的帮助。

sendmail python-3.x

6
推荐指数
1
解决办法
9350
查看次数

Anaconda:ModuleNotFoundError:没有名为“ conda”的模块

请注意,此错误与stackoverflow中显示(并有答案)的错误不同。绝对不会重复。

我之前已经看到此错误,并且可以通过修改PATH来包含conda的路径来解决此错误,如下所示:

export PATH=/opt/cloudera/parcels/Anaconda/bin:$PATH
echo $PATH
/opt/cloudera/parcels/Anaconda/bin:/sbin:/bin:/usr/sbin:/usr/bin:/usr/local/bin:/usr/local/git/bin:/home/rxie/bin
Run Code Online (Sandbox Code Playgroud)

出于未知原因,错误再次在这里弹出,即使我开始新的会话后错误也不会消失。

我执行的最后一条命令是:

conda upgrade -c conda-forge imbalanced-learn
Run Code Online (Sandbox Code Playgroud)

并且命令成功完成。

康达怎么了?

这是Anaconda的目录:

#ls -la /opt/cloudera/parcels/Anaconda/bin/conda
-rwxrwxr-x 1 root root 531 Feb 18 16:29 /opt/cloudera/parcels/Anaconda/bin/conda
Run Code Online (Sandbox Code Playgroud)

注意我一直在使用root来安装软件包。

任何线索表示赞赏。

非常感谢你。

更新:谢谢@merv,我读了您对其他主题的回答。虽然症状不完全相同,但我确实尝试了第一步sudo pip install conda,之后,预计conda仍然会抛出相同的错误,因此您无法继续执行步骤2conda install --revision <n-1>

anaconda conda

5
推荐指数
1
解决办法
7497
查看次数

如何使用 conda 在 yaml 中分离具有多个通道的包来创建自定义环境

我需要创建一个使用 virtualenv 模拟环境的环境,这些包属于 anaconda 中的各个通道。尽管我指定了频道,但我收到了某些软件包的错误。

my_env.yml:

name: my_env
channels:
- anaconda
- conda-forge
dependencies:
- numpy=1.15.2
- scipy=1.1.0
- scikit-learn=0.20.0
- pandas=0.22.0
- SQLAlchemy=1.1.14
- graphviz=0.8
- slacker=0.9.60
Run Code Online (Sandbox Code Playgroud)

笔记:

slacker 位于 conda-forge 通道 SQLAlchemy 和 graphviz 位于 anaconda 通道,其他通道位于常规(默认)通道

当我运行命令时:

conda env create -f /home/my_env.yml

我收到以下错误:

解决环境:失败

ResolvePackageNotFound:-sqlalchemy=1.1.14-graphviz=0.8

似乎 anaconda 频道没有被接收?

我该如何修复这个 yml 文件?

非常感谢。

anaconda virtual-environment

5
推荐指数
1
解决办法
1082
查看次数

Airflow如何从代码本身获取每个dag的环境变量

我从日志中看到以下信息:

[2019-02-28 16:33:14,766] {python_operator.py:95} 信息 - 导出以下环境变量:

AIRFLOW_CTX_DAG_ID=email_operator_with_log_attachment_example
AIRFLOW_CTX_EXECUTION_DATE=2019-02-28T21:32:51.357255+00:00
AIRFLOW_CTX_TASK_ID=python_send_email
AIRFLOW_CTX_DAG_RUN_ID=manual__2019-02-28T21:32:51.357255+00:00
Run Code Online (Sandbox Code Playgroud)

如何在我的代码中获取这些信息?

非常感谢。

airflow

5
推荐指数
1
解决办法
2万
查看次数