标签: bots

我正在尝试为Web服务器上的某些文件获取准确的下载数字.我看一下用户代理,有些显然是机器人或网络抓取工具,但很多很多我不确定,它们可能是也可能不是网络爬虫,它们导致很多下载,因此对我来说很重要.

是否存在一些已知的Web爬虫列表,其中包含一些文档,如用户代理,IP,行为等？

我对官方的不感兴趣,比如Google,雅虎或微软.这些通常是表现良好和自我识别.

我们有一种情况,我们记录访问和访问页面命中和机器人堵塞我们的数据库.我们不能使用验证码或其他类似的技术,因为这是在我们甚至要求人工输入之前,基本上我们正在记录页面命中,我们只想记录人类的页面命中.

那里有已知的僵尸网络IP列表吗？检查已知的bot用户代理是否有效？

问题:如何使用Deliver从运行在Xcode 7和Server 4.1上的Bot上传IPA到itunesconnect？

我已经能够在Xcode 6.4,Server 4.1中使用机器人和Deliver(通过fastlane)建立持续集成解决方案.一旦我升级到Xcode 7 beta-3,我的机器人就停止了工作.

以下是我为Xcode 6.4所做的简要概述:

1. 在Bot设置中选择"执行存档操作"
2. 从post trigger:echo gem install --user-install deliver#Run To Gem
3. 从post trigger:echo export PATH=$PATH:/var/_xcsbuildd/.gem/ruby/2.0.0/bin#Run将Gems添加到Path

4. 从后触发:

   echo `DELIVER_PASSWORD="Password"
   /var/_xcsbuildd/.gem/ruby/2.0.0/bin/deliver testflight 
   "${IPA_PATH}" -a 101233338 -u example@gmail.com --beta`
   

   Run Code Online (Sandbox Code Playgroud)

一切都运行良好,每次集成后都会将构建内容上传到itunesconnect.

当我升级到Xcode 7时,我无法再使用Deliver上传到itunesconnect.这是我的Xcode 7工作流程:

1. 测试通过
2. 档案成功

3. 发布触发器1:成功构建IPA(使用此Apple开发人员帖子的推荐)

    xcrun xcodebuild -exportArchive -archivePath 
    $XCS_ARCHIVE -exportPath $XCS_ARCHIVE
    -exportOptionsPlist /Library/Developer/XcodeServer/ExportOptions.plist 
    -IDEPostProgressNotifications=YES 
    -DVTAllowServerCertificates=YES 
    -DVTSigningCertificateSourceLogLevel=3 
    -DVTSigningCertificateManagerLogLevel=3 
    -DTDKProvisioningProfileExtraSearchPaths=/Library/Developer/XcodeServer/ProvisioningProfiles
   

   Run Code Online (Sandbox Code Playgroud)

4. 尝试使用Deliver上传IPA:

   echo `DELIVER_PASSWORD="Password"
   /var/_xcsbuildd/.gem/ruby/2.0.0/bin/deliver testflight 
   "${IPA_PATH}" -a 101233338 -u example@gmail.com --beta`
   

   Run Code Online (Sandbox Code Playgroud)

结果: 构建服务问题:终止xcodebuild,因为它没有产生太长时间的输出. 注意:我可以使用机器人生成的IPA并通过终端上传它们.

更新

Xcode没有打印出所有日志,当我将输出重定向到文件时,看起来Deliver运行得很好

ESC[37m[12:03:08]: ESC[0mESC[32mReady to …

在Facebook Messenger平台上与bot的对话中使用外部API进行身份验证的最佳方法是什么？

对于一个广泛的例子,我希望我的机器人的用户在他们自己的外部网站的配置文件上创建项目.有没有办法从用户那里获取登录信息,或者将我的机器人连接到外部网站,而用户没有用他们的用户名和密码明确地向机器人发送消息？

我在User Profile API下的文档中找到的内容:

您可以使用User Profile API中的人员姓名或个人资料图片来个性化对话.要获取此信息,请向https://graph.facebook.com/v2.6/？fields = first_name,last_name,profile_pic&access_token = 发出GET请求.阅读Send API参考中的更多详细信息.

这不是我正在寻找的,但它有所帮助.以下是来自文档的更多信息:

用户个人资料API

请求

curl -X GET "https://graph.facebook.com/v2.6/<USER_ID>?fields=first_name,last_name,profile_pic&access_token=<PAGE_ACCESS_TOKEN>"

响应

{ "first_name": "Peter", "last_name": "Chang", "profile_pic": "https://fbcdn-profile-a.akamaihd.net/hprofile...70ec9c19b18" }

有没有人对如何在java中创建可以玩Flash游戏的机器人的资源或方法有任何建议？

我正在考虑使用Robot类来观看屏幕并进行操作,但我需要在图像中查找图像等方法.我相信这已经完成,但谷歌搜索返回了很多废话..

我想阻止所有识别为机器人的http_user_agents,但在我输入以下代码时允许Googlebot:

map $http_user_agent $bad_bot {
default 1;
~*^Lynx 0; # Let Lynx go through
~*^google );
libwww-perl                      1;
~(?i)(libwww|Wget|LWP::Simple|BBBike|java|crawl|spider|bot) 1;
}

但是,这个块甚至可以访问googlebot.

在一个我无法理解的问题上,我被困在这里大约24小时.

我工作的保险公司依赖于从多个网站请求报价数据,一些用于分析,一些用于向客户报价.我正在为我开发的软件创建一个类,以便为我们当前的提供商添加新的保险提供商.

我基本上发送一个POST请求与客户信息和我们的推荐.但是对于我的生活,我无法让它发挥作用.我已经完成了数百次而没有任何问题.

我监视了Fiddler中的标题,并完全复制了它们.网站似乎唯一设置的是4个cookie值.一个是xsrf(当你访问提交页面时自动设置,我能够从源代码中检索它,或者通过访问CookieContainer),另外两个似乎与会话相关但是是加密的.所以我做的是让我的软件访问页面,存储cookie,然后提交帖子请求.

我已经尝试在禁用JavaScript的情况下手动提交表单.它有效.所以我可以假设没有使用JavaScript设置变量或cookie.

我无法理解的是为什么表格没有提交.

我唯一能想到的是cookie中的会话数据是加密的,并且存储了浏览器提供的一些值.但是没有JavaScript,浏览器可以提供什么样的价值,而我的软件不是？

我已经设置了所有常用的用户代理等.正如我所说,我已经完成了数百次,并且从未遇到过像这样的问题.

我还使用Fiddler来获取cookie信息,并将其直接放入软件中(使用与用户代理设置在软件上相同的浏览器),这在理论上应该可行,但事实并非如此.

我已将POST请求与来自浏览器的POST请求进行了比较,并且它们都是相同的.唯一不同的是会话cookie值,它们是加密的.

从Web服务器返回没​​有错误.响应代码为200.唯一的区别是当报价成功提交时,页面将包含"报价成功"文本.这是我无法用软件实现的.

我打电话给保险提供者,因为他们不管理他们的网站而无法提供帮助.他们没有API,但只要我们提供推荐ID,就允许我们公司通过软件提出请求.

关于可能会发生什么的任何想法？

我记录的是使用C#和HTTPClient.我不确定这是否相关.

编辑:

我注意到的一件事是,在对包含引用表单的页面的GET请求 - 使用浏览器 - 我注意到从服务器返回以下标头:

 P3P: CP="CAO PSA OUR"

此外,当在浏览器中成功发送POST请求时,它也会返回此标头.

但是,当我用软件发出GET请求时,我注意到服务器响应了P3P标头,但是POST请求却没有.这可能是相关/重要的吗？

我正在创建一个带有Settings.bundle文件的iPad应用程序.我正在编写构建脚本来显示应用程序版本号和xcode bot集成号(而不是bundle build number).我在网上搜索过,找不到任何解决方案.这是我得到的:

-- Add the app version number
cd $PROJECT_DIR
cd "$BUILT_PRODUCTS_DIR/$PRODUCT_NAME.app"

RELEASE_VERSION=$(/usr/libexec/PlistBuddy -c "Print CFBundleShortVersionString" Info.plist)
/usr/libexec/PlistBuddy -c "Set :PreferenceSpecifiers:1:DefaultValue $RELEASE_VERSION" Settings.bundle/Root.plist

-- Add the build version number
BUILD_NUMBER=$(/usr/libexec/PlistBuddy -c "Print CFBundleVersion" Info.plist)
/usr/libexec/PlistBuddy -c "Set :PreferenceSpecifiers:2:DefaultValue $BUILD_NUMBER" Settings.bundle/Root.plist

在构建版本号中,我想用xcode bot集成号替换CFBundleVersion.

尝试在XcodeServer上针对模拟器设备运行测试时出错.测试有时会传递给一个设备而另一个设备会失败,但是失败的设备并不总是相同的.这可以在单个会话中发生.

日志文件错误如下:

2015-03-23 10:44:11.029 Initializing test infrastructure.
2015-03-23 10:44:11.029 Writing testing status log to /Library/Developer/XcodeServer/Integrations/Integration-7e6e54f21a2fd25cddc9df0436cb3688/Session-2015-03-23_10:44:10-tH1BD4.log.
2015-03-23 10:44:28.676 Launch session started, setting a disallow-finish-token on the run operation.
2015-03-23 10:44:30.352 Adding console adaptor for test process.
2015-03-23 10:44:39.566 Creating the connection.
2015-03-23 10:44:39.567 Listening for proxy connection request from the test bundle (all platforms)
2015-03-23 10:44:39.567 Resuming the connection.
2015-03-23 10:44:39.567 Test connection requires daemon assistance.
2015-03-23 10:44:39.568 Checking test manager availability..., will wait up to 120s
2015-03-23 10:45:05.253 testmanagerd handled …

我从黑客新闻中分享的一个链接介绍了BOTBUILDER.

1. 开始使用Bot Framework有哪些开发人员资源？
2. 我需要了解C#吗？
3. 我是否需要使用azure帐户才能使用它们？
4. 目前Bot Framework可用的集成有哪些:Slack,Skype等？是否可以与WhatsApp集成？