我想将本地mysql数据库迁移到Amazon RDS.但首先我想测试它是否正在接收通信.所以我试着ping它.但尝试超时.
ping -c 5 myfishdb.blackOut.us-west-2.rds.amazonaws.com
PING ec2-54-xxx-xxx-118.us-west-2.compute.amazonaws.com (54.xxx.xxx.118): 56 data bytes
Request timeout for icmp_seq 0
Request timeout for icmp_seq 1
Request timeout for icmp_seq 2
Request timeout for icmp_seq 3
Run Code Online (Sandbox Code Playgroud)
我怀疑我需要打开入站设置,所以我打开设置
SSH TCP 22 72.xxx.xxx.xxx/32
它仍然无法正常工作.你觉得我做错了什么?我错过了什么吗?
我试图刮掉http://www.dailyfinance.com/quote/NYSE/international-business-machines/IBM/financial-ratios,但传统的网址字符串构建技术不起作用,因为"全公司名称-is-inserted-in-path"字符串.并且事先并不知道确切的"完整公司名称".只有公司的标志,"IBM"才知道.
从本质上讲,我刮擦的方式是循环遍历公司符号数组并在将url字符串发送到urllib2.urlopen(url)之前构建它.但在这种情况下,这是不可能做到的.
例如,CSCO字符串是
http://www.dailyfinance.com/quote/NASDAQ/cisco-systems-inc/CSCO/financial-ratios
Run Code Online (Sandbox Code Playgroud)
另一个例子url字符串是AAPL:
http://www.dailyfinance.com/quote/NASDAQ/apple/AAPL/financial-ratios
Run Code Online (Sandbox Code Playgroud)
因此,为了获取URL,我必须在主页的输入框中搜索符号:
http://www.dailyfinance.com/
Run Code Online (Sandbox Code Playgroud)
我注意到当我输入"CSCO"并在Firefox Web开发人员网络选项卡中的(http://www.dailyfinance.com/quote/NASDAQ/apple/AAPL/financial-ratios)检查搜索输入时,我注意到获取请求正在发送给
http://j.foolcdn.com/tmf/predictivesearch?callback=_predictiveSearch_csco&term=csco&domain=dailyfinance.com
Run Code Online (Sandbox Code Playgroud)
并且引用者实际上给出了我想要捕获的路径
Host: j.foolcdn.com
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:28.0) Gecko/20100101 Firefox/28.0
Accept: */*
Accept-Language: en-US,en;q=0.5
Accept-Encoding: gzip, deflate
Referer: http://www.dailyfinance.com/quote/NASDAQ/cisco-systems-inc/CSCO/financial-ratios?source=itxwebtxt0000007
Connection: keep-alive
Run Code Online (Sandbox Code Playgroud)
很抱歉很长的解释.所以问题是如何在Referer中提取网址?如果那是不可能的,我应该如何处理这个问题?还有另外一种方法吗?
我非常感谢你的帮助.
我在过去的两个星期中尝试使此代码正常工作。我搜索并尝试了Philipp Kief的解决方案,这是我可以部分理解的解决方案。我是新来的。
不幸的是,我被卡住了,不知道为什么桌子不能展开。我没有收到错误,但是似乎(click)并且MatRipple似乎已经做出回应。我也尝试过,进行材料扩展面板,但这似乎不可行。有人可以指出我正确的方向吗?谢谢。
import { Component, OnInit, ViewChild } from '@angular/core';
import { HttpClient } from '@angular/common/http';
import { DataSource } from '@angular/cdk/collections';
import { Incident } from './interface';
import {
MatSort,
MatTableDataSource,
ICON_REGISTRY_PROVIDER,
MatPaginator
} from '@angular/material';
import {
animate,
state,
style,
transition,
trigger
} from '@angular/animations';
import { switchMap, concatMap } from 'rxjs/operators';
import { interval } from 'rxjs';
import { timer } from 'rxjs/observable/timer';
@Component({ …Run Code Online (Sandbox Code Playgroud) 我有以下使用zip()的python代码,它似乎导致意外的数据截断.
inc_data = [[u'Period Ending', u'Dec 31, 2012', u'Dec 31, 2011', u'Dec 31, 2010'],
[u'Total Revenue\n', u'104,507,100\n', u'106,916,100\n', u'99,870,100\n'],
[u'Cost of Revenue\n',u'56,000,000\n']
]
inc_data2 = zip(*inc_data)
for i in inc_data2:
print i
Run Code Online (Sandbox Code Playgroud)
它只打印:
(u'Period Ending', u'Total Revenue\n', u'Cost of Revenue\n')
(u'Dec 31, 2012', u'104,507,100\n', u'56,000,000\n')
Run Code Online (Sandbox Code Playgroud)
但我希望它打印以下内容,但显然我必须u''手动添加填充程序以防止zip()截断inc_data.但我不知道如何编码.
(u'Period Ending', u'Total Revenue\n', u'Cost of Revenue\n')
(u'Dec 31, 2012', u'104,507,100\n', u'56,000,000\n')
(u'Dec 31, 2011', u'106,916,100\n', u'')
(u'Dec 31, 2010', u'99,870,100\n', u'')
Run Code Online (Sandbox Code Playgroud)
要描述上面的inc_data,
inc_data = [ [x],
[y],
[z] ]
Run Code Online (Sandbox Code Playgroud)
如何使x,y和z长度相同?长度是x,y或z的最大长度?
(u'Period …Run Code Online (Sandbox Code Playgroud) 我在python中使用TA-Lib包装器进行了AssertionError.你能看看我的代码吗?我非常感谢你的帮助.
import numpy as np
import talib
#This works
test_data = np.random.random(5)
np_out = talib.SMA(test_data,3)
print np_out
#How come this does not work? I need to fix
real_data = [135.01, 133.0, 134.0, 131.0, 133.0, 131.0]
np_real_data = np.array(real_data,dtype=np.object)
np_out = talib.SMA(np_real_data,3)
print np_out
Run Code Online (Sandbox Code Playgroud)
错误信息:
File "func.pyx", line 9200, in talib.func.SMA (talib/func.c:85610)
AssertionError: real is not double
Run Code Online (Sandbox Code Playgroud)
我暂停解决方案可能是将double转换为real.我想测试这个想法.如何将real_data从double转换为real?
谢谢.
我正在尝试学习python 3.x以便我可以抓取网站.人们建议我使用Beautiful Soup 4或lxml.html.有人能指出我在使用python 3.x的BeautifulSoup的教程或示例的正确方向吗?
谢谢您的帮助.
我正在尝试AWS EC2和RDS.我已经按照本教程进行了操作,但教程缺少数据库迁移. https://www.youtube.com/watch?v=YJoOnKiSYws那么,有人能指出我正确的方向继续数据库迁移吗?
我已经尝试了https://support.cloud.engineyard.com/entries/21009887-Access-Your-Database-Remotely-Through-an-SSH-Tunnel, 但由于RDS权限问题,它对我不起作用.
我也尝试过在亚马逊上的说明,http://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Overview.RDSSecurityGroups.html, 但它让我更加困惑.
http://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/MySQL.Procedural.Importing.NonRDSRepl.html
我在AWS论坛上发布了一条消息,但没有人回答.而且我希望有人可以帮助我.我只需要一些简单的例子,例如
step1. From local pc export MySQL with mysqldump (done)
step2. Upload local mysqldump.sql file to EC2 (I don't know how to do)
step3. import mysqldump.sql on EC2 to RDS (I don't know how to do)
step4. connect django web app to use new MySQL database that has data dump (don't know how)
Run Code Online (Sandbox Code Playgroud)
我非常感谢你的帮助.
顺便说一句,数据在我的本地计算机上的MySQL中运行特立独行的操作系统(我希望信息有用).
我是 pupeteer 的新手,不知道它的全部潜力。我有以下代码从抓取返回结果。但格式是一长制表符分隔的字符串。我正在尝试获取正确的 json。
(async () => {
const browser = await puppeteer.launch( {headless: true} );
const page = await browser.newPage();
await page.goto(url, {waitUntil: 'networkidle0'});
let data = await page.evaluate(() => {
const table = Array.from(document.querySelectorAll('table[id="gvM"] > tbody > tr '));
return table.map(td => td.innerText);
})
console.log(data);
})();
Run Code Online (Sandbox Code Playgroud)
这是 html 表格:
<table cellspacing="0" cellpadding="4" rules="all" border="1" id="gvM" >
<tr >
<th scope="col">#</th><th scope="col">Resource</th><th scope="col">EM #</th><th scope="col">CVO</th><th scope="col">Start</th><th scope="col">End</th><th scope="col">Status</th><th scope="col">Assignment</th><th scope="col"> </th>
</tr>
<tr >
<td>31</td><td>Smith</td><td>618</td><td align="center"><span class="aspNetDisabled"><input id="gvM_ctl00_0" type="checkbox" name="gvM$ctl02$ctl00" …Run Code Online (Sandbox Code Playgroud) 我有一个从sql表中选择的数据帧,看起来像这样
id shares_float
0 1 621.76M
1 2 329.51M
Run Code Online (Sandbox Code Playgroud)
换句话说,
[(1, '621.76M'), (2, '329.51M')]
Run Code Online (Sandbox Code Playgroud)
我想拆分shares_float,如果它是'B',则乘以1,000,000,000,如果它是'M',则乘以1,000,000,如果它既不是或者没有尾随字符,只需转换并分配数字.
结果应该是浮动类型
ticker_id shares_float float_value
0 1 621.76M 621760000.00
1 2 3.51B 3510000000.00
Run Code Online (Sandbox Code Playgroud)
我是熊猫新手.有没有办法在熊猫中做到这一点?或者我应该将数据转换为列表并在循环中进行操作然后将其转换回pandas DataFrame?
注意补充:答案很有效!谢谢.顺便说一下,这个功能如何运作?
我按照亚马逊的这条youtube指令将django web app部署到AWS EB EC2.该网站成功运行.但我无法登录管理员.django民意调查示例中的管理员.我记得在设置过程中,它提示我进行RDS设置,由于我的网络应用程序使用MySQL,我不得不选择RDS设置.当我设置RDS时,它没有提示我创建用户,而只是提示我创建一个密码,我尽职尽责.
https://www.youtube.com/watch?v=YJoOnKiSYws
AWS上也可以找到类似的说明.
http://docs.aws.amazon.com/elasticbeanstalk/latest/dg/create_deploy_Python_django.html
我已经尝试过用户名"root",密码是"空白",可以在我的本地电脑上运行,但当然这会让事情变得简单.
在尝试失败后,我在AWS上的EC2和RDS仪表板上进行了一些搜索,我找到了username = ebroot.
所以我尝试了用户名'ebroot'和密码[rds_password_from_setup],但这不起作用.
我已经尝试了许多其他用户名和密码的组合,但没有任何作用.这可能是问一个在线社区的愚蠢问题,但您认为RDS可能接受的用户名和密码是什么?
python ×5
web-scraping ×2
amazon-ec2 ×1
amazon-rds ×1
angular ×1
django ×1
javascript ×1
json ×1
list ×1
mysql ×1
numpy ×1
pandas ×1
ping ×1
puppeteer ×1
python-3.2 ×1
string ×1
truncation ×1
urllib2 ×1