小编Moo*_*dra的帖子

Python 请求 - 403 禁止 - 尽管设置了“User-Agent”标头

import requests
import webbrowser
from bs4 import BeautifulSoup

url = 'https://www.gamefaqs.com'
#headers={'User-Agent': 'Mozilla/5.0'}    
headers ={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36'}


response = requests.get(url, headers)
Run Code Online (Sandbox Code Playgroud)

response.status_code 返回403。我可以使用firefox/chrome浏览网站,所以这似乎是一个编码错误。

我无法弄清楚我犯了什么错误。

谢谢你。

python web-scraping python-requests

7
推荐指数
1
解决办法
1万
查看次数

外观和非捕获组之间的功能差异?

我试图想出一个例子,其中积极的环顾四周工作,但非捕获组将无法工作,以进一步了解他们的用法.这些例子我"米想出与非捕捉组作为一切工作的很好,所以我觉得我的" M没有完全把握正面看的使用周围.

这是一个字符串,(取自一个SO示例),在答案中使用正面向前看.用户想要获取第二列值,仅当第一列的值以ABC开头时,最后一列的值为"active".

string ='''ABC1    1.1.1.1    20151118    active
          ABC2    2.2.2.2    20151118    inactive
          xxx     x.x.x.x    xxxxxxxx    active'''
Run Code Online (Sandbox Code Playgroud)

给出的解决方案使用了'积极展望',但我注意到我可以使用非联合组来达到相同的答案.所以,我很难想出一个正面环顾无效的例子,非捕获组不起作用.

pattern =re.compile('ABC\w\s+(\S+)\s+(?=\S+\s+active)') #solution

pattern =re.compile('ABC\w\s+(\S+)\s+(?:\S+\s+active)') #solution w/out lookaround
Run Code Online (Sandbox Code Playgroud)

如果有人愿意提供一个例子,我将不胜感激.

谢谢.

python regex regex-group python-3.x regex-lookarounds

7
推荐指数
1
解决办法
409
查看次数

在没有重置权重的情况下,将正则化器添加到训练模型的现有层?

假设我通过Inception转移学习.我添加了几层并训练了一段时间.

这是我的模型拓扑看起来像:

base_model = InceptionV3(weights='imagenet', include_top=False)
x = base_model.output
x = GlobalAveragePooling2D()(x)
x = Dense(1024, activation='relu', name = 'Dense_1')(x)
predictions = Dense(12, activation='softmax', name = 'Predictions')(x)
model = Model(input=base_model.input, output=predictions)
Run Code Online (Sandbox Code Playgroud)

我训练这个模型一段时间,保存并重新加载以进行再训练; 这次我想在Dense_1没有重置权重的情况下添加l2-regularizer ?这可能吗?

path = .\model.hdf5
from keras.models import load_model
model = load_model(path)
Run Code Online (Sandbox Code Playgroud)

文档显示只显示初始化图层时可以将正则化程序添加为参数:

from keras import regularizers
model.add(Dense(64, input_dim=64,
                kernel_regularizer=regularizers.l2(0.01),
                activity_regularizer=regularizers.l1(0.01)))
Run Code Online (Sandbox Code Playgroud)

这实质上是创建一个新图层,因此我的图层权重将被重置.

编辑:

所以我在过去的几天里玩这些代码,当我加载模型时(在使用新的正规化器训练一下之后)我的损失发生了一些奇怪的事情.

所以我第一次运行这个代码(第一次使用新的正则化程序):

from keras.models import load_model
base_model = load_model(path)
x = base_model.get_layer('dense_1').output
predictions = base_model.get_layer('dense_2')(x)
model = Model(inputs = base_model.input, output = predictions)
model.get_layer('dense_1').kernel_regularizer …
Run Code Online (Sandbox Code Playgroud)

python keras tensorflow

6
推荐指数
3
解决办法
2068
查看次数

尽管添加了PATH,但似乎无法从命令行运行tesseract

我正在尝试添加tesseract以能够安装pytesseract。我使用Windows 7。

我将此路径添加到PATH环境变量中 C:\Program Files (x86)\Tesseract-OCR\tesseract.exe

从命令行(如果我运行)

tesseract DMTX_screenshot.png out 要么 tesseract

我越来越

tesseract is not recognized as an internal or external command.

这是我的环境变量一部分的复制粘贴:

C:\Program Files (x86)\Tesseract-OCR\tesseract.exe;C:\Users\Moondra\Anaconda_related\Anaconda\geckodriver.exe;

关于我可能做错了什么的任何想法?

谢谢。

windows tesseract python-3.x

5
推荐指数
3
解决办法
2万
查看次数

增加 Jupyter notebook 中某些单元格/一个 notebook 的字体大小

我想增加字体大小并为我在 Jupyter 笔记本中输出的文本添加粗体。但是,我只想更改该特定笔记本或该特定单元格的设置。(欢迎两种解决方案)

我看到大多数线程显示如何配置我假设是全局更改的 .css 文件?

如何更改 ipython 笔记本中的字体

但是我想要一个单元一个单元的控制或者只是那个特定的笔记本。

作为一个示例,我的单元格输出如下:

Killing C.I.A. Informants, China Crippled U.S. Spying https://www.nytimes.com/2017/05/20/world/asia/china-cia-spies-espionage.html

我想让第一句话(标题)加粗。

谢谢你。

编辑:尝试在此循环中使用降价方法。

for i in today_links:
    if i[0] == '':
        del (i)
    else:
        Markdown('**{}**  \n{}'.format(i[0], i[1]))
Run Code Online (Sandbox Code Playgroud)

today_links 是元组列表

[('Killing C.I.A. Informants, China Crippled U.S. Spying',
  'https://www.nytimes.com/2017/05/20/world/asia/china-cia-spies-espionage.html'),
 ('How Rollbacks at Pruitt’s E.P.A. Are a Boon to Oil and Gas',
  'https://www.nytimes.com/2017/05/20/business/energy-environment/devon-energy.html'),
Run Code Online (Sandbox Code Playgroud)

不知道为什么它在循环中不起作用。

谢谢你。

python-3.x jupyter-notebook

5
推荐指数
1
解决办法
1万
查看次数

Python虚拟机(CPython)是否将字节码转换为机器语言?

对于PVM如何获取CPU执行字节码指令,我有些困惑。我在StackOverflow上的某个地方读过,它没有将字节码转换为机器码,(可惜,我现在找不到线程)。

它是否已经对大量的预编译机器指令进行了硬编码,以根据字节码运行/选择其中之一?

谢谢。

python

5
推荐指数
2
解决办法
868
查看次数

使用re.sub和多次替换仅替换捕获的组

下面只是我创建的一个简单示例。

string = 'I love sleeping. I love singing. I love dancing.'
pattern =re.compile(r'I love (\w+)\.')
Run Code Online (Sandbox Code Playgroud)

我只想用re.sub替换(\ w +)部分。
这个问题分为两个部分:

我想替换(\ w +),而不必借助组来捕获其余文本。

所以我不想做这样的事情:

pattern =re.compile(r'(I) (love) (\w+)\.')
re.sub(pattern, r'/1 /2 swimming', string)
Run Code Online (Sandbox Code Playgroud)

因为这在处理大量文本和可选组时可能不可靠。

第二部分:

由于我将有3个匹配项,因此是否可以使用re.sub馈入列表,该列表将为每个匹配项在列表中进行迭代,并相应地生成sub。换句话说,我希望列表中的每个项目都['Swimming, Eating, Jogging']与匹配项(例如zip方法)同步并进行替换。

因此输出应该是这样的(即使单个总输出也可以:

'I love Swimming'
'I love Eating'
'I love Jogging'
Run Code Online (Sandbox Code Playgroud)

python regex

5
推荐指数
1
解决办法
1259
查看次数

output_graph.pb上的tf.GraphKeys.TRAINABLE_VARIABLES导致空列表

我正在尝试从已保存的模型中提取所有权重/偏差output_graph.pb

我读了模型:

def create_graph(modelFullPath):
    """Creates a graph from saved GraphDef file and returns a saver."""
    # Creates graph from saved graph_def.pb.
    with tf.gfile.FastGFile(modelFullPath, 'rb') as f:
        graph_def = tf.GraphDef()
        graph_def.ParseFromString(f.read())
        tf.import_graph_def(graph_def, name='')

GRAPH_DIR = r'C:\tmp\output_graph.pb'
create_graph(GRAPH_DIR)
Run Code Online (Sandbox Code Playgroud)

并尝试这种希望,我将能够提取每一层中的所有权重/偏差。

with tf.Session() as sess:
    all_vars = tf.get_collection(tf.GraphKeys.TRAINABLE_VARIABLES)
    print (len(all_vars))
Run Code Online (Sandbox Code Playgroud)

但是,我得到的值为len。

最终目标是提取权重和偏差并将其保存到文本文件/np.arrays。

python deep-learning tensorflow

5
推荐指数
1
解决办法
3519
查看次数

在转移学习中预处理图像(Inception v3)

我正在使用Keras并导入在Imagenet数据集上经过训练的Inception模型。

from keras.applications.inception_v3 import InceptionV3

我正在以小批量导入图像并调整其大小,但是我不确定预处理它们的正确方法。

我只取每个通道的平均每批并从各自的通道平均减去每一个像素,然后通过他们的渠道性病划分的?

谢谢。

python deep-learning keras

5
推荐指数
0
解决办法
225
查看次数

为什么这三种创建列表的方式在内存大小上存在差异?

sys.getsizeof(list(range(10))) # 200
sys.getsizeof([0,1,2,3,4,5,6,7,8,9]) # 144
sys.getsizeof([i for i in range(10)]) # 192
Run Code Online (Sandbox Code Playgroud)

我几乎没有C方面的经验,所以这可能使我感到头疼,但是我在玩耍时很好奇sys.getsizeof

我试图看一下文档,但是我发现只有这样:

如果对象由垃圾收集器管理,则getsizeof()调用对象的sizeof方法并添加额外的垃圾收集器开销。

由于我的C经验很少,所以我对GC也不太熟悉,但是从与Python有关的GC阅读中,我了解到Python中仅计数引用。在上述情况下,我们没有将其保存到变量中,所以我假设没有GC引用吗?

python python-3.x

5
推荐指数
1
解决办法
85
查看次数