小编Hao*_*ang的帖子

在以下示例中:

  small.ints = to.dfs(1:1000)
  mapreduce(
    input = small.ints, 
    map = function(k, v) cbind(v, v^2))

mapreduce函数的数据输入是一个名为small.ints的对象,它引用了HDFS中的块.

现在我有一个已经存储在HDFS中的CSV文件了

"hdfs://172.16.1.58:8020/tmp/test_short.csv"

如何获得它的对象？

据我所知(可能是错误的),如果我想将CSV文件中的数据作为mapreduce的输入,我必须首先在R中生成一个包含CSV文件中所有值的表.我有这样的方法:

data=from.dfs("hdfs://172.16.1.58:8020/tmp/test_short.csv",make.input.format(format="csv",sep=","))
mydata=data$val

似乎可以使用这个方法获取mydata,然后执行object = to.dfs(mydata),但问题是test_short.csv文件很大,大约是TB大小,而内存不能保存输出.dfs!

实际上,我想知道我是否直接使用"hdfs://172.16.1.58:8020/tmp/test_short.csv"作为mapreduce输入,而在map函数内部执行from.dfs()的事情,我能否获取数据块？

无论如何,请给我一些建议!

虽然每个人都在尝试向谷歌地图添加更好的植被图像，但我需要一个干净的地理，上面没有任何植被和地形信息，这是由 API V2 完成的

目前我有javascript：

var styles = [
  {
    featureType: "all",
    stylers: [
      { saturation: -80 }
    ]
  },{
    featureType: "road.arterial",
    elementType: "geometry",
    stylers: [
      { hue: "#00ffee" },
      { saturation: 50 }
    ]
  },{
    featureType: "poi.business",
    elementType: "labels",
    stylers: [
      { visibility: "off" }
    ]
  }
];
var mapOptions = {
    center: new google.maps.LatLng(37.774546, -122.4335235),
    zoom: 3,
    styles: styles
};

这可以返回一个灰色图像，但上面仍然有植被和地形。我没有找到与我的问题相关的样式类型或任何其他内容。谁能帮我吗？