小编Jan*_*yne的帖子

我正在使用图书馆e1071。特别是，我正在使用该svm功能。我的数据集有 270 个字段和 800,000 行。我已经运行这个程序 24 多个小时了，我不知道它是否挂起或仍在正常运行。我发出的命令是：

svmmodel <- svm(V260 ~ ., data=traindata);

我正在使用 Windows，并使用任务管理器，状态Rgui.exe为“无响应”。R 已经崩溃了吗？是否还有其他提示/技巧可以更好地衡量 R 或 SVM 学习过程中发生的情况？

如果有帮助，以下是我使用资源监视器（在 Windows 中）注意到的一些其他内容：

• CPU 使用率为 13%（稳定）
• 线程数为 3（稳定）
• 内存使用量为 10,505.9 MB +/- 1 MB（波动）

在我写这个帖子的时候，我也看到了“类似的问题”并点击了它们。似乎 SVM 训练是二次或三次。但是，在 24 小时以上之后，如果等待是合理的，我会等待，但如果不是，我将不得不消除 SVM 作为可行的预测模型。

我正在使用Apache HttpComponents v4.3.3(maven httpclient和httpmime).我需要上传一个包含一些元数据的文件.curl命令可以工作,如下所示.

curl -k -i -H"Content-Type:multipart/mixed"-X POST --form'field1 = val1'-form'field2 = val2'-form'file =@somefile.zip; type = application /拉链" 的https://www.some.domain/

我试过模仿这个卷曲的帖子,如下所示.

HttpEntity entity = MultiPartEntityBuilder
 .create()
 .addPart("field1",new StringBody("val1",ContentType.TEXT_PLAIN))
 .addPart("field2",new StringBody("val2",ContentType.TEXT_PLAIN))
 .addPart("file", new FileBody(new File("somefile.zip"), ContentType.create("application/zip"))
 .build();
HttpPost post = new HttpPost("https://www.some.domain");
post.addHeader("Content-Type", "multipart/mixed");

但是,在我使用HttpClient执行HttpPost之后,我得到以下异常(服务器代码也是在Jetty上运行的Java).

org.apache.commons.fileupload.FileUploadException:请求被拒绝,因为没有找到多部分边界

当我添加一个曲线卷曲

curl --trace - -k -i -H"Content-Type:multipart/mixed"-X POST --form'field1 = val1'-form'field2 = val2'-form'file =@somefile.zip; type = application/zip'https://www.some.domain/

我看到表单字段/值对被设置为HTTP标头.

内容处理:表格数据; 名称=字段1 ...值1

我在这里做错了什么？任何帮助表示赞赏.

我目前正在使用Kafka 0.9.0.1.根据我发现的一些消息来源,设置消息大小的方法是修改以下键值server.properties.

• message.max.bytes
• replica.fetch.max.bytes
• fetch.message.max.bytes

我的server.properties文件实际上有这些设置.

message.max.bytes=10485760
replica.fetch.max.bytes=20971520
fetch.message.max.bytes=10485760

其他可能相关的设置如下.

socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600

但是,当我尝试发送大小为4到6 MB的有效负载的消息时,消费者永远不会收到任何消息.生产者似乎发送消息而没有任何异常被抛出.如果我发送较小的有效载荷(如<1 MB),那么消费者确实会收到消息.

关于我在配置设置方面做错了什么的任何想法？

以下是发送消息的示例代码.

Producer<String, byte[]> producer = new KafkaProducer<>(getProducerProps());
File dir = new File("/path/to/dir");
for(String s : dir.list()) {
  File f = new File(dir, s);
  byte[] data = Files.readAllBytes(f.toPath());
  Payload payload = new Payload(data); //a simple pojo to store payload
  String key = String.valueOf(System.currentTimeMillis());
  byte[] val = KryoUtil.toBytes(payload); //custom util to use kryo to get bytes[]
  producer.send(new ProducerRecord<>("test", key, val));
} …

我必须使用Spark into从HDFS加载CSV文件DataFrame.我想知道CSV文件支持的DataFrame与镶木地板文件支持的DataFrame是否有"性能"提升(查询速度)？

通常,我将如下所示的CSV文件加载到数据框中.

val df1 = sqlContext.read
 .format("com.databricks.spark.csv")
 .option("header", "true")
 .option("inferSchema", "true")
 .load("hdfs://box/path/to/file.csv")

另一方面,加载镶木地板文件(假设我已经解析了CSV文件,创建了一个模式,并将其保存到HDFS),如下所示.

val df2 = sqlContext.read.parquet("hdfs://box/path/to/file.parquet")

现在我想知道以下查询时间之类的操作是否会受到影响和/或不同.

• df1.where( "COL1 = 'some1'").COUNT()
• df1.where("col1 ='some1'和col2 ='some2'").count()

我想知道是否有人知道是否有镶嵌的谓词 - 下推？

对我来说,似乎镶木地板有点像倒置索引,并且可以预期,对于基于镶木地板的数据框而言,简单的计数过滤器将比基于CSV的数据框更快.至于支持CSV的数据框,我想每次我们过滤项目时都必须进行完整的数据集扫描.

任何关于CSV与镶木地板支持的数据框查询性能的说明都表示赞赏.此外,还欢迎任何有助于加速数据帧中查询计数的文件格式.

我正在按照本教程学习 webpack。它已经过时了，因为在我的情况下引用的工具已升级。我的版本如下。

• ts-loader ^1.3.3
• tsd ^0.6.5
• 打字稿^2.1.5
• 网络包 ^1.14.0

成功创建bundle.js文件后，我似乎在访问/引用我的 TypeScript 到 JavaScript 类时遇到问题。我的tsconfig.json看起来像下面这样。

{
  "compilerOptions": {
    "module": "commonjs",
    "sourceMap": true,
    "declaration": true
  },
  "include": [
    "src/**/*"
  ]
}

我的 wepack.config.js 如下所示。

var webpack = require('webpack');
module.exports = {  
  entry: './src/app.ts',
  output: {
    filename: 'bundle.js'
  },
  devtool: 'source-map',
  resolve: {
    extensions: ['', '.webpack.js', '.web.js', '.ts', '.js']
  },
  module: {
    loaders: [
      { test: /\.ts$/, loader: 'ts-loader' }
    ]
  }
}

要转译 TypeScript 代码，我只需输入tsc …

我正在尝试自定义加载一些带有一些标签的图像文件（JPG 文件），然后按照此处的示例将它们输入 PyTorch 中的卷积神经网络 (CNN) 。但是，似乎仍然没有像样的端到端教程。我看到的问题如下。

RuntimeError: thnn_conv2d_forward is not implemented for type
torch.ByteTensor

我的Dataset看起来像下面这样。

class ImageData(Dataset):
    def __init__(self, width=256, height=256, transform=None):
        self.width = width
        self.height = height
        self.transform = transform
        y, x = get_images() #y is a list of labels, x is a list of file paths
        self.y = y
        self.x = x

    def __getitem__(self, index):
        img = Image.open(self.x[index]) # use pillow to open a file
        img = img.resize((self.width, self.height)) # resize the …

我有一个音频数据列表，我想在 Jupyter 笔记本中显示这些数据，IPython.display.Audio以便这些控件从左向右彼此相邻流动。我尝试使用，ipywidgets.HBox但收到错误，因为IPython.display.Audio不是 a 的实例Widget。

我的音频数据列表如下所示，其中y是音频数据，sr是采样率。

data = [(y1, sr1), (y2, sr2), ..., (yN, srN)]

我试图做的是类似以下的事情。

audio_widgets = [display.Audio(audio[0], sr=audio[1]) for audio in data]
audio_hbox = widgets.HBox(audio_widgets) # TraitError happens here

我收到以下错误。

TraitError：HBox 实例的“children”特征的元素必须是 Widget，但指定了 <IPython.lib.display.Audio object> <class 'IPython.lib.display.Audio'> 的值。

显示音频显示的一种方法是简单地将它们显示在另一个之上（当存在大量音频数据时，这会占用大量垂直空间）。

for audio in data:
     audio_widget = display.Audio(audio[0], sr=audio[1])
     display(audio_widget)

关于如何控制音频控件的布局显示有什么想法吗？

我正在使用 Angular v8。我有一个名为的文件model.ts，如下所示。

import {map} from 'rxjs/operators';

export class Person {
 constructor() { }
}

然后我有一个名为的 WebWorker 文件test.worker.ts，如下所示。

/// <reference lib="webworker" />
import {Person} from './bo/model';

addEventListener('message', ({ data }) => {
  const response = `worker response to ${data}`;
  postMessage(response);
});

当我输入时，ng compile我得到以下内容ERROR。

./src/app/test.worker.ts (./node_modules/worker-plugin/dist/loader.js!./src/app/test.worker.ts) 中的错误
模块构建失败（来自 ./node_modules/worker-plugin/dist/loader.js）：
错误：node_modules/rxjs/internal/types.d.ts(45,13)：错误 TS2339：类型“SymbolConstructor”上不存在属性“observable”。

    在 AngularCompilerPlugin._update (/Users/jwayne/my-app/node_modules/@ngtools/webpack/src/angular_compiler_plugin.js:767:31)
    在 processTicksAndRejections (internal/process/task_queues.js:89:5)
    在异步 AngularCompilerPlugin._make (/Users/jwayne/my-app/node_modules/@ngtools/webpack/src/angular_compiler_plugin.js:658:13)

如果我注释掉import {map} from 'rxjs/operators'，那么我可以编译。导入导入其他库的库是否有限制？

有趣的是，如果我执行此导入，import {HttpClient} from '@angular/common/http';则会出现如下不同的错误。

./src/app/test.worker.ts …

我使用以下命令创建了一个Ionic v2应用程序:

ionic start my-app sidemenu --v2 --ts.

在app.ts文件内部,我有一些逻辑(函数)来做一些事情(比如打开一个模态并保持侧面菜单应该显示的状态).当显示某个页面(例如pages/getting-started/getting-started.ts)时,我想重用相同的功能app.ts.如何app.ts从导航到的页面访问功能？

我app.ts看起来如下.

class MyApp {
 @ViewChild(Nav) nav:Nav;
 private rootPage:any = GettingStartedPage;
 private pages:any;

 constructor(platform:Platform) {
  this.initializeApp();
  this.pages = { 
   'GettingStartedPage': GettingStartedPage, 
   'AnotherPage': AnotherPage //more pages and modals
  };
 }

 initializeApp() {
  this.platform.ready().then(() => {
   StatusBar.styleDefault();
  });
 }

 openPage(page:string) {
  //when a user clicks on the left menu items, a new page is navigated to
  let component this.pages[page];
  this.nav.setRoot(component);
 }

 openModal(page:string) { …

当我使用 Jupyter Lab 处理笔记本时，我经常将代码放入本地文件夹中，以便可以在其他笔记本中重用该代码。我通常通过执行以下操作来引用该本地模块。

import os\nimport sys\n\nsys.path.insert(0, os.path.abspath('.'))\n

因此，如果我发现错误或需要增强代码并修改文件*.py，我无法通过简单地重新运行单元来加载新代码。我必须重新启动新内核才能获得新的更改。这个开发周期非常糟糕，尤其是当笔记本电脑的某些部分运行起来计算成本很高时。

有没有关于如何与 Juypter Lab 笔记本一起更有效地编码和修改模块代码的提示？

我的代码结构如下所示。

\ntemp/\n\xe2\x94\x9c\xe2\x94\x80\xe2\x94\x80 lib\n\xe2\x94\x82\xc2\xa0\xc2\xa0\xe2\x94\x9c\xe2\x94 \x80\xe2\x94\x80 __init__.py\n\xe2\x94\x82\xc2\xa0\xc2\xa0 \xe2\x94\x9c\xe2\x94\x80\xe2\x94\x80 杂项.py\n \xe2\x94\x82\xc2\xa0\xc2\xa0\xe2\x94\x94\xe2\x94\x80\xe2\x94\x80 utils.py\n\xe2\x94\x94\xe2\x94\x80\ xe2\x94\x80 笔记本.ipynb\n

有misc.py以下代码。

def say_hi(name):\n    print(f'hi {name}')\n

有utils.py以下代码。

def say_bye(name):\n    print(f'bye bye {name}')\n

然后，我在单元格中导入一个函数，如下所示。

from lib.utils import say_bye\n\nsay_bye('john')\n

现在假设我改变了say_bye()，如何重新加载模块？