我希望 googlebot 索引动态添加到我的站点地图中的网址。我添加的 URL 用于个人资料 ( example.com/username)、博客等...我使用带有 React-router 的服务器端渲染,并且某些组件api调用api.example.com/.... 阅读有关爬行和robots.txt. 我了解到 googlebot 在抓取页面时会向链接发出请求。因此,服务器从进程中获取请求googlebot.com并googlebot与之交互。robots.txt
好吧,我不希望谷歌抓取我的 api 或链接到它的人。这会使服务器超载。Instagram 的做法完全相同https://instagram.com/robots.txt
User-agent: *
Disallow: /api/
Run Code Online (Sandbox Code Playgroud)
根据我的理解,我有点困惑谷歌如何抓取公共个人资料页面(谷歌“Kelly Slater instagram”)。
另外,https://developer.android.com/training/app-indexing/enabling-app-indexing.html#robots(最后一段 - 页面底部)说我需要允许谷歌向/api/.
问题
因为/api/被屏蔽了,google如何抓取Instagram页面?它是否等待服务器的响应并忽略,robots.txt因为它是来自另一个页面的间接请求?
网络爬行与应用程序爬行不同吗?我是否需要启用才能/api/使我未来的 Android 应用程序可爬行?
我还注意到 Instagram 中没有Sitemap: ...字段robots.txt。他们是否使用搜索引擎的 API 提交站点地图google ping?
阿罗哈,我正在尝试开发一个有3个单词可供选择的滑块.但是我无法将这些单词保存为字母,我得到的只是1,2或3的数字:(
这是我的代码,也是一张图片:)
<form action="something.php" method="post" id="form">
<input type="range" min=1 max=3 step=1 name="slider">
<div id="text">
<span > Bad </span>
<span> Ok </span>
<span> Good </span>
</div>
<input type="submit" value="next" id="but"/>
</input>
</form>
Run Code Online (Sandbox Code Playgroud)
所以这段代码显示了顶部的滑块和字母(与我的css一起使用),但当我点击"提交"时,在下一页(使用php)我得到1,2或3.但它应该是坏的,好还是好.我确定问题出在HTML代码中.

Aloha,我无法让插件工作。这是我的代码,请帮助我:
<html>
<head>
<script src="style/jquery-1.11.1.min.js"></script>
<link href="style/jquery.guillotine.css" rel="stylesheet" type="text/css">
<script src="style/jquery.guillotine.js"></script>
<div id="theparent" style="width: 80%;">
<img id="thepicture" src="http://www.iwallscreen.com/stock/ocean-wallpaper-desktop.jpg">
</div>
<script>
var picture = $('#thepicture'); // Must be already loaded or cached!
picture.guillotine({width: 400, height: 300});
$('#rotate-left-button').click(function(){
picture.guillotine('rotateLeft');
});
$('#zoom-in-button').click(function(){
picture.guillotine('zoomIn');
});
</script>
</head>
</html>
Run Code Online (Sandbox Code Playgroud)
Thnaks,阿罗哈:)