我想解析站点地图并从站点地图中找出所有网址,然后在所有网址中附加一些单词,然后我想检查所有修改后的网址的响应代码。
对于这个任务,我决定使用scrapy,因为它可以很方便地抓取站点地图。它在 Scarpy 的文档中给出
在这个文档的帮助下,我创建了我的蜘蛛。但我想在发送获取之前更改网址。所以为此我试图从这个链接中获得帮助。这个链接建议我使用rules和实施process_requests()。但我无法利用这些。我有点累了,我已经发表了评论。任何人都可以帮助我为注释行编写确切的代码或以任何其他方式在scrapy中完成此任务吗?
from scrapy.contrib.spiders import SitemapSpider
class MySpider(SitemapSpider):
sitemap_urls = ['http://www.example.com/sitemap.xml']
#sitemap_rules = [some_rules, process_request='process_request')]
#def process_request(self, request, spider):
# modified_url=orginal_url_from_sitemap + 'myword'
# return request.replace(url = modified_url)
def parse(self, response):
print response.status, response.url
Run Code Online (Sandbox Code Playgroud) 我可以通过传入的 webhooks将文本发送到Mattermost频道
import requests, json
URL = 'http://chat.something.com/hooks/1pgrmsj88qf5jfjb4eotmgfh5e'
payload = {"channel": "general", "text": "some text"}
r = requests.post(URL, data=json.dumps(payload))
Run Code Online (Sandbox Code Playgroud)
这段代码只是发布文本。我找不到将文件发布到频道的方法。假设我想发布位于 /home/alok/Downloads/Screenshot_20170217_221447.png 的文件。如果有人知道请分享。
format()方法很棒,但我想更改我选择的标识符,因为我不想逃避{并且}在字符串中
例如
'Hi {name}'.format(**{'name': 'Alok'})将打印'Hi Alok'
'Hi {{{name1}, {name2}}}'.format(**{'name1':'foo', 'name2':'bar'})
将打印'Hi {foo, bar}'
在第二个例子中{, and}是我的字符串的一部分,所以我必须使用{{and来转义它们}}转义它们。
我不想逃避{,}甚至不想使用jinja等模板引擎。如何更改标识符?我想会有办法使用子类化str类。
我有一个句子模型,其元数据为JSONField
一个示例行是
Sentence.objects.filter(id=6753315).values('id', 'metadata')[0]
{'id': 6753315,
'metadata': [{'filters': [{'id': None, 'level_name': 'Brand Hierarchy'},
{'id': None, 'level_name': 'Category Hierarchy'}],
'product': None,
'themes': [{'id': 35299, 'sentiment': 'Positive'},
{'id': 35301, 'sentiment': 'Positive'}]}]}
Run Code Online (Sandbox Code Playgroud)
元数据是对象列表,该对象具有嵌套的对象列表。
我想根据主题 id 查询这些行。在此示例中,元数据列表的行长度为 1,主题列表的长度为 1,因此很容易查询,例如
In [30]: Sentence.objects.filter(id=6753315, metadata__0__themes__0__contains={"id": 35299})
Out[30]: <QuerySet [<Sentence: Sentence object>]>
Run Code Online (Sandbox Code Playgroud)
但是元数据和主题的长度可以是任何长度,所以我如何查询这些行来检查该行中是否存在某个主题 id,或者不存在任何长度的元数据和主题。
我只想找出具有特定主题 id 的所有行
Sentence.objects.filter(metadata__*__themes__*__contains={"id": 35299})
Run Code Online (Sandbox Code Playgroud)
我不知道这样写的索引*是为了让我的问题易于理解。
我正在尝试在 Windows 10 上构建Vivek 的虚拟相机。
为此,我需要有Win7Samples/multimedia/directshow/baseclasses
我已经baseclasses使用 Visual Studio 2019下载并构建了它。
现在我准备构建虚拟相机过滤器。我遵循了一些必要的步骤
git clone https://github.com/roman380/tmhare.mvps.org-vcamcd tmhare.mvps.org-vcam\FiltersFilters.dsp在 Visual Studio 2019 中打开它要求我做one-way upgrade
C:\Users\alokm\tmp\Windows-classic-samples\Samples\Win7Samples\multimedia\directshow\baseclasses的Additional Include Directories
C:\Users\alokm\tmp\Windows-classic-samples\Samples\Win7Samples\multimedia\directshow\baseclasses\Debug到Addition Library Directories
Build>>来构建,Build Solution
文本格式错误:
Severity Code Description Project File Line Suppression State
Error LNK2001 unresolved external symbol _memcmp Filters C:\Users\alokm\tmp\tmhare.mvps.org-vcam\Filters\strmbasd.lib(combase.obj) 1
Error LNK2001 unresolved external symbol _memcmp Filters C:\Users\alokm\tmp\tmhare.mvps.org-vcam\Filters\strmbasd.lib(mtype.obj) 1
Error LNK2001 unresolved external symbol …Run Code Online (Sandbox Code Playgroud) 我能够设置graylog-server和graylog-web,并能够在graylog-collector的帮助下为apache2,tomcat和其他应用程序的生成日志设置输入,
例如
apache-access {
type = "file"
path = "/var/log/apache2/access.log"
outputs = "gelf-tcp,console"
}
tomcat-debug {
type = "file"
path = "/home/alok/packages/apache-tomcat-7.0.59/logs/mydomain.debug.log"
outputs = "gelf-tcp,console"
}
Run Code Online (Sandbox Code Playgroud)
如何在graylog中查看旧日志文件中的日志?我试图为旧日志文件设置graylog-collector,graylog正在监听它,但没有显示日志文件的内容.如果有人知道实现这一目标的方法请分享
我想创建python脚本,它可以使用Python语言服务或使用任何其他方式修改该脚本本身的代码.
例如,跟踪其成功执行计数的脚本
import re
COUNT = 0
def updateCount():
# code to update second line e.g. COUNT = 0
pass
if __name__ == '__main__':
print('This script has run {} times'.format(COUNT))
updateCount()
Run Code Online (Sandbox Code Playgroud)
成功执行此脚本后,代码应更改为
import re
COUNT = 1
def updateCount():
# code to update second line e.g. COUNT = 0
pass
if __name__ == '__main__':
print('This script has run {} times'.format(COUNT))
updateCount()
Run Code Online (Sandbox Code Playgroud)
我想到的简单方法是__file__在写入模式下打开,并使用调节器实验等进行必要的修改.但是这不起作用我得到了例外io.UnsupportedOperation: not readable.即使这种方法有效,也会有很大的风险,因为它会破坏我的整个脚本.所以我正在寻找使用Python语言服务的解决方案.
我想使用官方 mongodb 包在node.js环境中实现mongodb分页。我试图在互联网上查找,但都是基于猫鼬的链接。我不想使用猫鼬。
如何使用
http://mongodb.github.io/node-mongodb-native/3.1/api/给出的官方客户端 api 实现分页
我正在尝试官方 SvelteKit 示例https://realworld.svelte.dev/。
其代码托管在https://github.com/sveltejs/realworld
当我运行时登录并且一切正常npm run dev
,但是当我运行npm run dev -- --host时登录不起作用。
cookies.set('jwt', value, { path: '/' });
Run Code Online (Sandbox Code Playgroud)
这不起作用,因此 cookie 未设置,因此登录不起作用。
使用选项时如何使登录正常工作--host?
python ×5
node.js ×2
apache ×1
c++ ×1
cookies ×1
directshow ×1
django ×1
dll ×1
file-upload ×1
graylog ×1
javascript ×1
logging ×1
mattermost ×1
mlt ×1
mongodb ×1
multimedia ×1
pagination ×1
postgresql ×1
scrapy ×1
string ×1
subclassing ×1
svelte ×1
sveltekit ×1
webhooks ×1