小编Ji *_*ark的帖子

如何使用scikit-learn在大型csv数据(~75MB)上训练模型而不会遇到内存问题？

我正在使用IPython笔记本作为编程环境,并使用pandas + sklearn软件包来分析来自kaggle的数字识别器教程的数据.

数据在网页上提供,链接到我的代码,这是错误消息:

KNeighborsClassifier 用于预测.

问题:

使用read_csv函数加载大型数据集时发生"MemoryError".为了暂时绕过这个问题,我必须重新启动内核,然后read_csv函数成功加载文件,但是当我再次运行相同的单元格时会发生同样的错误.

当read_csv函数成功加载文件后,在对其进行更改后dataframe,我可以将功能和标签传递给KNeighborsClassifier的fit()函数.此时,发生类似的内存错误.

我尝试了以下方法:

以块的形式迭代CSV文件,并相应地拟合数据,但问题是每次对于一大块数据都会覆盖预测模型.

您认为如何成功训练我的模型而不会遇到内存问题,我怎么办？

我在屏幕顶部显示了按钮(使用react-native-scrollable-tab-view).在按钮下面,我有ListView部分标题.

滚动时有没有办法让标题粘在标签视图的下边缘？

我很难尝试将ListView标题标题粘在Facebook TabBar的底部,它的默认设置是坚持屏幕顶部.

当我滚动时,节标题在标签栏下滑动.

有什么想法吗？我应该在FacebookTabBar.js中做些什么来改变这项工作吗？

顶部没有标签栏

标签栏位于顶部

注意:奇怪的是这个GIF没有正确显示完整的动画; 你可以想象列表滚动了很多,节标题在标签栏下滑动.

节标题样式

catListHeaderContainer: {
    padding: 12,
    backgroundColor: '#1F2036',
}

FacebookTabBar风格

var styles = StyleSheet.create({
  tab: {
    flex: 1,
    alignItems: 'center',
    justifyContent: 'center',
    paddingBottom: 10,
  },

  tabs: {
    height: 60,
    flexDirection: 'row',
    paddingTop: 5,
    borderWidth: 0,
    borderTopWidth: 0,
    borderLeftWidth: 0,
    borderRightWidth: 0,
    borderBottomColor: 'rgba(0,0,0,0)',
  },

  activeTabTitle: {
    marginTop: 40,
    color: '#3B5998',
  },

  nonActiveTabTitle: {
    marginTop: 40,
    color: '#BDBDBD',
  },

});

我们的团队与一家出于安全原因设置了一些限制的公司签订了合同。我们在他们的办公室工作，我们工作的电脑（由那家公司提供）受到他们的网络安全系统的监控，互联网也受到严密监控。此外，excel、word、pdf、text等很多文件都是经过加密的。

我们共享一个 Excel 文件以跟踪我们正在进行的工作。这个 excel 文件存储在一个文件夹中，该文件夹位于公司专门授予我们访问权限的服务器中。

只有我们可以共享任何文件或数据的管道是通过网络上的特定文件夹，只有我们可以访问。

我的目标是制作一个基于浏览器的应用程序，模仿在 excel 文件上所做的事情，但此应用程序的限制是，它不能是一个外部 Web 应用程序，其中数据通过 Internet 发送并存储在外部，我们无法将我们自己的任何物理计算机制作为服务器，也无法为我们提供本地机器来为 Web 应用程序提供服务。

我的问题是，是否有可能制作一个独立的基于浏览器的应用程序，它可以在没有服务器的情况下运行，并且仍然能够将数据存储在 [nosql,sqlite,text file,json,etc.] 中，许多人可以同时访问？如果是，通常为此目的推荐哪些工具？

我真的很感激你的帮助，谢谢！