我在/24网络中有几个站点，它们都被谷歌定期抓取。通常这很好。但是，当 google 同时开始抓取所有站点时，支持此 IP 块的一小组服务器可能会对负载造成很大影响。

使用 google 网站管理员工具，您可以对给定域上的 googlebot 进行速率限制，但我还没有找到一种方法来限制 IP 网络上的 bot。任何人都有这方面的经验？你怎么修好它的？

我有一个URL我想与需要有关它的信息的朋友分享，但我不希望公众看到它。

URL 指的是index.html，这是我的public_html并且每个人都可以阅读，例如：

public_html/secret23/index.html

没有链接到那个 URL `.../~dehmann/secret23'。我可以相信搜索引擎不会找到它并将其编入索引吗？所以除了我的朋友没人能看到吗？（假设我的朋友永远不会泄露 URL。）

我认为答案是肯定的，因为谷歌也在 Picasa 和谷歌文档中使用这种技术来发布用户不希望搜索引擎看到的文档。但我只是想确保这是它的工作原理（在我的敏感信息供所有人查看之前）。

更新：澄清一下，我的问题归结为：谷歌（或任何人）是否不能递归列出我的内容public_html？或者他们可以吗？

问题

根据mtr，当我通过 Internet 发送数据包时，丢包率很高。我应该向我的 ISP 投诉吗？

故事

我正在阅读OReilly Linux Networking Cookbook，这一章Using traceroute, tcptraceroute, and mtr to Pinpoint Network Problems引起了我的注意。从我的 ISP通过互联网 Ping 像 Google 这样的主机给了我 1200 毫秒和更高的记录延迟（不仅从今天开始；因为很长一段时间），所以我认为我不会更糟糕地分析mtr.

Mtr is a network diagnostic tool that combines ping and traceroute into one program.

摘录，同时，这个问题线程的原因是：

如果其中任何一个始终在同一路由器上挂断，或者如果 mtr 在同一路由器上始终显示大于 5% 的数据包丢失和较长的传输时间，则可以肯定地说该特定路由器有问题。如果它是您控制的路由器，那么看在上帝的份上修复它。如果不是，请使用 dig 或 whois 找出它属于谁，并很好地向他们报告问题。

问题

mtr --report www.google.com自己查看输出：（总共 12 次测试，每 5 分钟进行 1 次测试；这是代表可靠“平均值”的报告）

HOST: km                          Loss%   Snt   Last   Avg …

我有一些（与内容无关的）站点具有不错的 PR，我正在考虑将它们全部托管在同一台服务器上。我听说，如果您这样做，则该服务器上两个独立域之间的内部链接可能会被 Google 视为不那么“有效”，在 PageRank 术语中（因为您显然拥有这两个站点，因为它们共享一个 IP 地址）。

任何人都有这方面的经验？我很想通过合并来节省一些托管现金，但不会以失去将我的网站强有力地链接在一起的能力为代价。

在使用 Google 的网站管理员工具时验证站点的一种方法是将 TXT 条目添加到名称服务器，使用主机名并添加提供的文本。

偶然地（因为我根本不知道）我添加了两个 TXT 条目，一个带有“www”，一个没有，只是为了确保 Google 会接受代码（因为在网站管理员工具中，网站是用“www”输入的）。

发生的事情是：在 DNS 条目传播后，当使用带有“www”的主机名时，站点不再可用。编辑：没有特别的错误信息，只是“找不到服务器”。

为什么？认为 TXT 条目格式有点随意可能是天真的，但有人可以向震惊的开发人员（=非管理员）解释为什么 TXT 记录可以如此破坏性地影响应该由 A 记录处理的内容？

编辑：这是示例（但当然它不再在线）。该站点托管在 domainfactory 上，这是一个共享主机，您可以在其中编辑 DNS 设置（或让 domainfactory 管理它们 - 在这种情况下，“Ziel”列显示他们的名称；通常混合条目没有问题）：

这正是使该站点不可用的最后一个条目。

但是，告诉我这不应该发生也是一个很好的答案 - 然后我可以询问托管服务提供商。

如果我不熟悉 nslookup，请原谅我，但我在仍然无法正常工作的域之一上进行了一次查找和不使用 www 的查找，结果如下：

C:\>nslookup www.foo.de
Server:  dns2.colt1.inetserver.de
Address:  195.234.228.93

Name:    www.foo.de

第二个：

C:>nslookup foo.de
Server:  dns2.colt1.inetserver.de
Address:  195.234.228.93

Nicht autorisierende Antwort:
Name:    foo.de
Address:  81.20.84.178

不同之处在于，没有“www”的请求显示的是“Nicht autorisierende Antwort:”（可能是“非授权答案”），但 IP 是正确的。

我想确保 google 是否提供托管服务器，如虚拟专用服务器或专用服务器，除了可从 sites.google.com 获得的免费托管

谷歌是否有像rackspace、linode这样的东西，还是他们只为简单的网站提供免费托管？

我遇到了一些有趣的网络问题，我可以重现和解决这些问题，尽管没有解释 - 因此我问你！:)

我有两台服务器的设置，都位于 Google 的网络中：

• 服务器 A（Google App Engine）：面向公众的 Web 服务器，为网站提供服务
• 服务器 B (Google Compute Engine)：抓取服务器，获取服务器 A 的 HTML 图像

几天前，我开始遇到从服务器 B 到服务器 A 的请求的许多超时错误。在大多数情况下，它无法连接到服务器 A，即使服务器 A 可以从任何其他 IP 地址完全可用。

我 SSH 进入服务器 B 并有以下发现：

• 我可以做一个curl www.ServerA.dk大约。几秒钟内 3 次，然后连接断开，我必须等待大约。20 秒，在我可以做更多的卷发之前

• 我可以随心所欲地多次卷曲任何其他 URL

• 到服务器 A 的 ping 时间低得离谱（< 1 毫秒）

我可以通过以下方式解决问题：

• 将 DNS 更改/etc/resolv.conf为 Google 的公共 DNS

或者：

• 通过使用默认的 Google URL (ServerA.appspot.com) 而不是我的丹麦域 www.ServerA.dk 调用服务器 A

我有一种感觉，这是代表 Google 或我的丹麦 DNS 提供商的 DNS 问题。你有什么线索吗？

实际域

• www.kobstaden.dk（自定义域）
• kobstaden-hrd.appspot.com（默认 …

我想看看是否有其他人通过安全 LDAP (LDAPS) 使用他们的 Active Directory 设置了 Google Cloud Directory Sync (GCDS aka GADS)。我们一直在通过端口 389 进行同步，我想对该连接进行加密，但是当我切换到端口 636 时，连接失败了。

我正在我域中的成员服务器上运行 GCDS 工具 - 我试图在端口 636 上建立的连接是在 Google 的异地服务器和我的 DC 之间建立的，还是在 GCDS 工具和我的 DC 之间建立的？即使它在 GCDS 工具和我的 DC 之间，它是否仍然需要第 3 方证书还是自签名证书就足够了，因为该软件正在加入域的服务器上运行？我应该在 DC 上运行程序吗？

如果这是我需要第 3 方证书的问题，请提供一些指导，因为我对证书不是特别了解。谢谢！

鼓励0365 邮件用户在其 SPF 记录中使用include:spf.protection.outlook.com -all。

我遵循了这个指导。我公司的 spf 记录说：
v=spf1 include:spf.protection.outlook.com -all

spf.protection.outlook.com 记录以 include:spfa.protection.outlook.com 结尾 -all 以 include:spfb.protection.outlook.com 结尾

其中每个都包含一组 CIDR，用于 Outlook.com 在发送电子邮件时使用的 IP。

但是，我从 google.com 收到了 DMARC 报告，表明某个 IP 的 SPF 失败，该 IP 实际上被 SPF 记录中的一个包含项所涵盖。我认为这是不正确的，但经常发生。

下面是一个例子：

    source_ip>104.47.117.233</source_ip>

<count>1</count>


-<policy_evaluated>

<disposition>none</disposition>

<dkim>pass</dkim>

<spf>fail</spf>

被拒绝的 ip 是 ip4:104.47.0.0/17 的一部分，它是 spfb.protection.outlook 记录的一部分：

spfb.protection.outlook.com。394 在 TXT "v=spf1 ip6:2a01:111:f400::/48 ip4:23.103.128.0/19 ip4:23.103.198.0/23 ip4:65.55.88.0/24 ip4:10.104.ip4 :10.04. 200.0/21 ip4:23.103.208.0/21 ip4:23.103.191.0/24 ip4:216.32.180.0/23 ip4:94.245.120.64/26 -all"

那么，为什么 Google 的电子邮件服务器会将此视为 SPF 失败？

这不是一个孤立的例子 - 我经常收到与 SPF 记录中包含的 …

我最近收到了来自 Google 的 DMARC 报告，提醒我来自 Amazon SES IP 地址的邮件出现了一些 SPF 故障。示例记录如下（我已将我们的域名替换为 example.com。）：

  <record>
    <row>
      <source_ip>54.240.27.187</source_ip>
      <count>1</count>
      <policy_evaluated>
        <disposition>none</disposition>
        <dkim>pass</dkim>
        <spf>fail</spf>
      </policy_evaluated>
    </row>
    <identifiers>
      <header_from>example.com</header_from>
    </identifiers>
    <auth_results>
      <dkim>
        <domain>example.com</domain>
        <result>pass</result>
      </dkim>
      <dkim>
        <domain>amazonses.com</domain>
        <result>pass</result>
      </dkim>
      <spf>
        <domain>mail.example.com</domain>
        <result>pass</result>
      </spf>
    </auth_results>
  </record>

SPF 是否失败，因为该header_from值是example.comSPFdomain值mail.example.com？

我们使用 Amazon WorkMail 和 Amazon SES 发送手动和自动电子邮件。通常From address是webmaster@example.com，我们已将MAIL FROM域设置为mail.example.com。因此，我有点困惑为什么 Google 会将header_from域名报告example.com为mail.example.com. example.com我们为和设定了适当的 SPF 记录mail.example.com …