我想分析一个 Flask 应用程序端点,看看它在执行端点函数时在哪里变慢。我尝试过使用 Pycharms 内置分析器,但输出告诉我大部分时间都花在等待函数上,即等待用户输入。我尝试安装Flask-profiler,但由于项目结构与包预期不同而无法设置它。任何帮助表示赞赏。谢谢你!
我一直在尝试让日志记录在 AWS Cloudwatch 上运行,但到目前为止尚未成功。我在 Fargate 上运行 python Flask 后端并通过 Cloudwatch 处理日志记录。然而,只显示错误消息,而没有显示我插入的日志。我会收到有关 cloudwatch 的错误消息和启动消息,但没有日志。
* Serving Flask app "app" (lazy loading)
* Environment: production
WARNING: This is a development server. Do not use it in a production deployment.
Use a production WSGI server instead.
* Debug mode: on
* Restarting with windowsapi reloader
* Debugger is active!
* Debugger PIN: 222-692-161
* Running on http://0.0.0.0:6000/ (Press CTRL+C to quit)
127.0.0.1 - - [03/Nov/2020 09:47:23] "GET /health HTTP/1.1" 200 -
Run Code Online (Sandbox Code Playgroud)
这显示在 Cloudwatch …
logging amazon-web-services flask python-3.x amazon-cloudwatch
在构建深度学习模型时,我很难找到错误所在,但在设置输入层输入形状时通常会遇到问题。
这是我的模型:
model = Sequential([
Dense(32, activation='relu', input_shape=(1461, 75)),
Dense(32, activation='relu'),
Dense(ytrain.size),])
Run Code Online (Sandbox Code Playgroud)
它返回以下错误:
ValueError: Error when checking input: expected dense_1_input to have 3
dimensions, but got array with shape (1461, 75)
Run Code Online (Sandbox Code Playgroud)
该数组是来自 kaggle 房价竞赛的训练集,我的数据集有 75 列和 1461 行。我的数组是 2 维的,那么为什么需要 3 维?我曾尝试在第一个密集层之前添加一个冗余的第 3 维 1 或展平数组,但错误只是变成:
ValueError: Input 0 is incompatible with layer flatten_1: expected
min_ndim=3, found ndim=2
Run Code Online (Sandbox Code Playgroud)
您如何确定输入大小应该是多少以及为什么它期望的尺寸看起来如此随意?
作为参考,我附上了我的其余代码:
xtrain = pd.read_csv("pricetrain.csv")
test = pd.read_csv("pricetest.csv")
xtrain.fillna(xtrain.mean(), inplace=True)
xtrain.drop(["Alley"], axis=1, inplace=True)
xtrain.drop(["PoolQC"], axis=1, inplace=True)
xtrain.drop(["Fence"], axis=1, inplace=True)
xtrain.drop(["MiscFeature"], axis=1, inplace=True) …Run Code Online (Sandbox Code Playgroud) 我想在 Flask 应用程序中执行文本生成任务并将其托管在 Web 服务器上,但是在下载 GPT 模型时,弹性 beantalk 管理的 EC2 实例崩溃,因为下载需要太多时间和内存
from transformers.tokenization_openai import OpenAIGPTTokenizer
from transformers.modeling_tf_openai import TFOpenAIGPTLMHeadModel
model = TFOpenAIGPTLMHeadModel.from_pretrained("openai-gpt")
tokenizer = OpenAIGPTTokenizer.from_pretrained("openai-gpt")
Run Code Online (Sandbox Code Playgroud)
这些是导致问题的相关线路。GPT 大约为 445 MB。我正在使用变压器库。我没有在这一行下载模型,而是想知道是否可以对模型进行腌制,然后将其捆绑为存储库的一部分。这个图书馆可以吗?否则我如何预加载这个模型以避免我遇到的问题?
machine-learning transformer-model flask amazon-elastic-beanstalk huggingface-transformers
我正在尝试更多地参与开源项目,所以我发现自己经常查看问题选项卡。我想过滤问题,但要确保没有可以解决问题的链接公关。我发现我点击了一个问题,发现已经有一个 PR 在审查中。有没有办法指定该过滤器?
我正在尝试在名为 Deepnote 的托管 Jupyter 笔记本平台中使用 Huggingface Transformers 库。我想通过管道类下载模型,但不幸的是,deepnote 不支持 IPyWidgets。有没有办法在使用转换器时禁用 IPywidgets?具体如下命令。
classifier = pipeline("zero-shot-classification")
Run Code Online (Sandbox Code Playgroud)
和我收到的错误。
ImportError: IProgress not found. Please update jupyter and ipywidgets. See https://ipywidgets.readthedocs.io/en/stable/user_install.html
Run Code Online (Sandbox Code Playgroud)
注意:安装 IPyWidgets 不是一个选项
python jupyter-notebook ipywidgets huggingface-transformers deepnote
我正在完成一项涉及 NLP 和 Transformer 的任务。我想识别文本语料库中的相关特征。如果我要从工作描述中提取相关特征,例如工作中将使用的工具(powerpoint、excel、java 等)以及所需的熟练程度,该任务是否更适合命名实体识别模型或问答模型。
如果我像 NER 任务一样处理它,我会给训练数据中的所有相关工具贴上标签,并希望它能很好地泛化。我可以像 QA 模型一样处理这个问题,并询问诸如“这项工作需要什么工具”之类的问题,并提供描述作为上下文。
我计划使用 Transformers 库,除非我缺少一个更好的工具来完成此任务。我希望提取许多功能,因此并非所有功能都像从列表中获取关键字(编程语言、微软 Office 等...)一样简单。
这些方法中的一种是否更适合,或者我是否缺少一种更好的方法来解决这个问题。
任何帮助表示赞赏。谢谢你!
python nlp extract named-entity-recognition transformer-model