小编Har*_*vey的帖子

我正在使用sci-kit学习线性回归算法.在缩放Y目标功能的同时:

Ys = scaler.fit_transform(Y)

我有

ValueError:预期的2D数组,改为获得1D数组:

之后我改编成使用:

Ys = scaler.fit_transform(Y.reshape(-1,1))

但又得到了错误:

AttributeError:'Series'对象没有属性'reshape'

所以我检查了pandas.Series文档页面,它说:

reshape(*args,**kwargs) 从版本0.19.0开始不推荐使用.

尝试将 Pandas 中的对象（字符串）列转换Int32为允许NA值的整数类型时出现以下错误。

df.column = df.column.astype('Int32')

类型错误：对象无法转换为 IntegerDtype

我正在使用熊猫版本：0.25.3

我在理解如何连接 Kafka 和 PySpark 时遇到问题。

我在 Windows 10 上安装了 kafka，主题很好地流式传输数据。我已经安装了可以正常运行的 pyspark - 我能够毫无问题地创建测试 DataFrame。

但是当我尝试连接到 Kafka 流时，它给了我错误：

AnalysisException：找不到数据源：kafka。请按照“结构化流-Kafka集成指南”的部署部分部署应用程序。

Spark 文档并没有真正的帮助 - 它说： ... groupId = org.apache.spark artifactId = Spark-sql-kafka-0-10_2.12 version = 3.2.0 ...

对于 Python 应用程序，您需要在部署应用程序时添加上述库及其依赖项。请参阅下面的部署小节。

然后当您转到“部署”部分时，它会显示：

与任何 Spark 应用程序一样，spark-submit 用于启动您的应用程序。可以使用--packages将spark-sql-kafka-0-10_2.12及其依赖直接添加到spark-submit中，例如./bin/spark-submit --packages org.apache.spark:spark-sql-卡夫卡-0-10_2.12:3.2.0 ...

我正在开发应用程序，我不想部署它。如果我正在开发 pyspark 应用程序，在哪里以及如何添加这些依赖项？

尝试了几个教程最终变得更加混乱。

看到答案这么说

“您需要将 kafka-clients JAR 添加到您的 --packages 中”。如此回答

更多的步骤可能会有用，因为对于新手来说这还不清楚。

版本：

• 卡夫卡2.13-2.8.1
• 火花3.1.2
• java 11.0.12

所有环境变量和路径均已正确设置。

编辑

我已经加载：

   os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages org.apache.spark:spark-sql-kafka-0-10_2.12:3.1.2,org.apache.kafka:kafka-clients:2.8.1'

按照建议但仍然出现相同的错误。我已经三次检查了 kafka、scala 和 Spark 版本，并尝试了各种组合，但没有成功，我仍然遇到相同的错误：

AnalysisException：找不到数据源：kafka。请按照《Structured Streaming-Kafka集成指南》的部署部分部署应用程序。

编辑2

我安装了最新的Spark 3.2.0和Hadoop …

我正在关注这个Apache Airflow 教程，但我无法执行

docker-compose up -d

命令。我收到以下错误：

Building webserver
unable to prepare context: unable to 'git clone' to temporary context directory: error fetching: /usr/lib/git-core/git-remote-https: /tmp/_MEItH0v3Q/libcrypto.so.1.1: version `OPENSSL_1_1_1' not found (required by /lib/x86_64-linux-gnu/libssh.so.4)
: exit status 128
ERROR: Service 'webserver' failed to build

我在WSL2上使用 Ubuntu 20.04 。

我已经完全安装了那个版本的 OPEN SSL - OPENSSL_1_1_1 但错误仍然存​​在。我还将 git 更新到 2.30.2，因为我读过它可以修复它但没有运气。

今天，在 Windows 计算机上更新我的IntelliJ IDEA并尝试使用JetBrains Gateway通过 SSH 访问远程 Ubuntu 虚拟机上的项目后，我遇到了此错误。

• JetBrains 客户端 2022.1
• JetBrains 网关 2022.1
• IntelliJ IDEA 2022.1（终极版）

我正在努力将薪水改为汉堡,这样我就可以做一些分析并制作每个球场的价格图表.当我尝试这样做时,它表示数据框没有属性to_numeric.我得到了API DOC的代码,所以我想知道发生了什么.它是DataFrames列表还是其他东西.我应该更改数字标志吗？

import pandas as pd
import pandas_datareader.data as web

players = pd.read_html('http://www.usatoday.com/sports/mlb/salaries/2013/player/p/')


df1 = pd.DataFrame(players[0])
df1.drop(df1.columns[[0,3,4, 5, 6]], axis=1, inplace=True)
df1.columns = ['Player', 'Team', 'Avg_Annual']
#print (df1.head(10))

p2 = pd.read_html('http://www.sportingcharts.com/mlb/stats/pitching-pitch-count-leaders/2013/')


df2 = pd.DataFrame(p2[0])

df2.drop(df2.columns[[0,2, 3]], axis=1, inplace=True)



#print (df2.head(10))

df1.set_index ('Player')
df2.set_index('Player')




df3 = pd.merge(df1, df2, on='Player')

df3.set_index('Player', inplace=True)
df3.columns = ['Team', 'Avg_Annual', 'Pitch_Count']
print (df3.head())

df3.to_numeric(Avg_Annual)
values = (df3.Avg_Annual) - (df3.Pitch_Count)

print (values.head())

%matplotlib inline在 Jupyter 笔记本中使用时，出现错误：

AttributeError: 模块 'matplotlib' 没有属性 'interactive'

这就是问题。

我也在stackoverflow 中提到过这个问题， 但我找不到答案。

我试过这个：

%matplotlib --list

发现了这个：

可用的 matplotlib 后端：['tk', 'gtk', 'gtk3', 'wx', 'qt4', 'qt5', 'qt', 'osx', 'nbagg', 'notebook', 'agg', ' svg', 'pdf', 'ps', 'inline', 'ipympl', 'widget']

它表明，我inline在我的 matplotlib 中有但无法使用它。

我也试过：

import matplotlib.pyplot as plt

不使用%matplotlib inline但发现此错误：

ModuleNotFoundError：没有名为“matplotlib.pyplot”的模块

然后，我尝试在我的 conda venv 中安装此模块并收到此错误： 错误 请帮帮我:)

在一张表中，我有一个完整的地址，我必须将其分成城市和邮政编码以存储在其他列中。

这是示例地址：

address= 'Marco Polo street 8a, 44000 Vienna'

有些行可能包含多个地址，但我必须只保留最后一个逗号 ( 44000 Vienna) 之后的最后部分。

所以最终的结果应该是：

 post_office = 44000 
 city = Vienna

到目前为止已尝试： /sf/answers/940167091/

带有嵌套子字符串，如下所示：

city = SUBSTRING(SUBSTRING(address, CHARINDEX(' ', address, 0) + 1, LEN(address)), CHARINDEX(',', address, 0) + 1, LEN(address))

和

post_office = SUBSTRING(SUBSTRING(address, CHARINDEX(',', address, 0) + 1, LEN(address)), 0, CHARINDEX(' ', address, 0))

但这仅部分有效，因为城市也可以有多个单词，例如：

city = '44300 Vienna Old Town'

我的数据的规则是：找到最后一个逗号，获取逗号后面的所有数字并将其定义为post_office然后，在第一个空格之后post_office直到字符串的其余部分，应将其定义为城市。

我正在运行 Microsoft SQL Server 2017 (v14.0.3391.2 - X64)

如何从PubMed上的查询中获取所有文章详细信息到 Pandas DataFrame 并将它们全部导出到 CSV 中。

我需要以下文章详细信息：

pubmed_id、标题、关键词、期刊、摘要、结论、方法、结果、版权、doi、publication_date、作者

在我的视图中，视图中每一行旁边都有标准的编辑操作：

@model IEnumerable<MyProject.Models.Person>
...
    <a asp-action="Edit" asp-route-id="@item.NameID">Edit</a> //

单击后，它会转到：

https://localhost:44312/Person/Edit/1 如果您正在编辑视图中的第一行。这是标准行为。

我的问题是如何将相同 ID 的相同操作重定向到另一个控制器？例如：

https://localhost:44312/人/编辑/1

我有时间列（字符串），如下所示：

time
1645437571.1399999
1645437571.14
1645437571.1455667
1645437571.2
1645437572
1645738427
1645738427

当我做：

select to_timestamp(1645437571.1399999);

对于该列中的每个值，我总是得到正确的响应，例如：

2022-02-21 09:59:31.140000 +00:00

但是当我这样做时：

select to_timestamp(time) from pmu;

我收到错误：

[42883] 错误：函数 to_timestamp（字符变化）不存在 提示：没有函数与给定名称和参数类型匹配。您可能需要添加显式类型转换。位置：8

我明白这是因为字符是变化的，所以如果我定义如下格式：

select to_timestamp(time, 'DD-MM-YYYY SS:MS:US') from pmu;

比我得到：

[22008] 错误：日期/时间字段值超出范围：“1645437571.14” 它也应该适用于空值。