小编Dim*_*los的帖子

如何在更改conf设置后重新启动EMR中的Spark服务?

我正在使用EMR-5.9.0并在更改了一些配置文件后,我想重新启动服务以查看效果.我怎样才能做到这一点?

我尝试使用initctl列表找到服务的名称,正如我在其他答案中看到但没有运气...

amazon-emr emr apache-spark

9
推荐指数
1
解决办法
4964
查看次数

在cloud9上安装Java 8

我正在尝试通过webupd8 PPA在cloud9上安装java 8.所以我正在添加存储库

sudo add-apt-repository ppa:webupd8team/java
Run Code Online (Sandbox Code Playgroud)

接下来我做更新,最后我运行命令

sudo apt-get install oracle-java8-installer
Run Code Online (Sandbox Code Playgroud)

我收到了错误

E: Unable to locate package oracle-java8-installer
Run Code Online (Sandbox Code Playgroud)

任何想法我怎样才能在cloud9上通过它和istall java 8?

cloud9-ide java-8

5
推荐指数
2
解决办法
3127
查看次数

如何使用 DataFrame 在 Spark 中构建 CoordinateMatrix?

我正在尝试将 ALS 算法的 Spark 实现用于推荐系统,因此我构建了如下所示的 DataFrame 作为训练数据:

|--------------|--------------|--------------|
|    userId    |    itemId    |    rating    |
|--------------|--------------|--------------|
Run Code Online (Sandbox Code Playgroud)

现在,我想创建一个稀疏矩阵来表示每个用户和每个项目之间的交互。该矩阵将是稀疏的,因为如果用户和项目之间没有交互,则矩阵中的相应值将为零。因此,最终,大多数值将为零。

但是如何使用 CoordinateMatrix 实现这一点?我说 CoordinateMatrix 是因为我使用的是 Spark 2.1.1 和 python,在文档中,我看到只有当矩阵的两个维度都很大并且矩阵非常稀疏时才应该使用 CoordinateMatrix。

换句话说,我怎样才能从这个 DataFrame 到一个 CoordinateMatrix,其中行是用户,列是项目,评级是矩阵中的值?

collaborative-filtering pyspark spark-dataframe apache-spark-mllib

5
推荐指数
1
解决办法
2916
查看次数

如何在Android中创建可分配的对象列表?

所以我有一个应用程序,通过API在互联网上搜索艺术家,并在执行此搜索后显示结果列表(艺术家姓名).我希望保留此列表,因为我更改了设备的方向(纵向 - 横向),而无需再次执行搜索.这是一些代码:

public class MainActivityFragment extends Fragment{

    public static final String ARTIST_ID = "artistId";
    private final String NO_RESULTS = "No artists found. Please check your input!";

    private List<Artist> artists = new ArrayList<>();
    private ArtistArrayAdapter adapter;

    public MainActivityFragment() {
    }

    @Override
    public View onCreateView(LayoutInflater inflater, ViewGroup container,
                             Bundle savedInstanceState) {

        View rootView = inflater.inflate(R.layout.fragment_main, container, false);

        final SearchView searchView = (SearchView) rootView.findViewById(R.id.search_artist);
        searchView.setOnQueryTextListener(new SearchView.OnQueryTextListener() {
            @Override
            public boolean onQueryTextSubmit(String artistName) {
                SearchArtist(artistName);
                InputMethodManager imm = (InputMethodManager) getActivity().getSystemService(Context.INPUT_METHOD_SERVICE);
                imm.hideSoftInputFromWindow(searchView.getWindowToken(), 0);
                return …
Run Code Online (Sandbox Code Playgroud)

android parcelable

4
推荐指数
1
解决办法
6388
查看次数

pytorch如何为简单的线性回归模型计算梯度?

我正在使用pytorch并试图了解简单的线性回归模型如何工作。

我正在使用一个简单的LinearRegressionModel类:

class LinearRegressionModel(nn.Module):
    def __init__(self, input_dim, output_dim):
        super(LinearRegressionModel, self).__init__()
        self.linear = nn.Linear(input_dim, output_dim)  

    def forward(self, x):
        out = self.linear(x)
        return out

model = LinearRegressionModel(1, 1)
Run Code Online (Sandbox Code Playgroud)

接下来,我将实例化损耗标准和优化器

criterion = nn.MSELoss()

optimizer = torch.optim.SGD(model.parameters(), lr=0.01)
Run Code Online (Sandbox Code Playgroud)

最后训练模型,我使用以下代码:

for epoch in range(epochs):
    if torch.cuda.is_available():
        inputs = Variable(torch.from_numpy(x_train).cuda())

    if torch.cuda.is_available():
        labels = Variable(torch.from_numpy(y_train).cuda())

    # Clear gradients w.r.t. parameters
    optimizer.zero_grad() 

    # Forward to get output
    outputs = model(inputs)

    # Calculate Loss
    loss = criterion(outputs, labels)

    # Getting gradients w.r.t. parameters
    loss.backward()

    # Updating parameters
    optimizer.step() …
Run Code Online (Sandbox Code Playgroud)

python gradient regression neural-network pytorch

4
推荐指数
1
解决办法
1490
查看次数

如何在Pandas DataFrame中随机更改某些行的值?

我有一个如下所示的熊猫数据框:

UserId    ProductId    Quantity
1         1            6
1         4            1
1         7            3
2         4            2
3         2            7
3         1            2
Run Code Online (Sandbox Code Playgroud)

现在,我想使用df.sample(n)随机选择此DataFrame行的20%,并将这些行的“数量”列的值更改为零。我还想保留已更改行的索引。因此,最终的DataFrame将是:

UserId    ProductId    Quantity
1         1            6
1         4            1
1         7            3
2         4            0
3         2            7
3         1            0
Run Code Online (Sandbox Code Playgroud)

并且我想保留第3行和第5行已更改的列表。我该如何实现?

python pandas

4
推荐指数
2
解决办法
2345
查看次数

如何评估隐式反馈ALS算法以获得Apache Spark中的建议?

你如何评估Apache Spark 的隐式反馈协同过滤算法,因为隐含的"评级"可以从零到任何变化,所以简单的MSE或RMSE没有多大意义?

apache-spark apache-spark-mllib

4
推荐指数
1
解决办法
3406
查看次数

从捆绑中获取参数

我试图将参数从我的Activity传递给Fragment,并且正在使用以下代码:

@Override
    protected void onCreate(Bundle savedInstanceState) {

        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_detail);

        String message = getIntent().getStringExtra(Intent.EXTRA_TEXT);

        DetailActivityFragment fragment = new DetailActivityFragment();

        Bundle bundle = new Bundle();
        bundle.putString(INTENT_EXTRA, message);

        fragment.setArguments(bundle);
    }
Run Code Online (Sandbox Code Playgroud)

我正在通过Intent Extra获取message变量的值,到目前为止,它工作正常。
然后,我将其作为参数传递给我的片段,但是,当我getArguments()从该特定片段调用时,它返回一个空Bundle。
有人对此有解决方案吗?

@Override
    public void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);

        Bundle bundle = getArguments();

        if (bundle != null && bundle.containsKey(DetailActivity.INTENT_EXTRA)) {
            forecast = bundle.getString(DetailActivity.INTENT_EXTRA);
        } else if (bundle == null) {
            Toast.makeText(getActivity(), "Error", Toast.LENGTH_LONG).show();
        }

    }
Run Code Online (Sandbox Code Playgroud)

当我运行应用程序时,上部方法将显示一条Toast消息“错误”。

android android-intent android-fragments

3
推荐指数
1
解决办法
5084
查看次数

如何使用Spark创建稀疏的CSCMatrix?

Spark的文档,用于创建一个pyspark.ml.linalg.SparseMatrix说:

Column-major sparse matrix. The entry values are stored in Compressed
Sparse Column (CSC) format. For example, the following matrix

   1.0 0.0 4.0 
   0.0 3.0 5.0
   2.0 0.0 6.0   

is stored as values: [1.0, 2.0, 3.0, 4.0, 5.0, 6.0], 
rowIndices=[0, 2, 1, 0, 1, 2], 
colPointers=[0, 2, 3, 6]
Run Code Online (Sandbox Code Playgroud)

你能解释一下我们是如何得出的colPointers吗?它表示它们代表了对应于新列开头的索引,但我仍然无法绕过它.

python matrix apache-spark pyspark

2
推荐指数
1
解决办法
455
查看次数

在TensorFlow中,update_op返回变量在precision_at_k度量中的含义是什么?

我有以下代码:

>>> rel = tf.constant([[1, 5, 10]], tf.int64) # Relevant items for a user
>>> rec = tf.constant([[7, 5, 10, 6, 3, 1, 8, 12, 31, 88]], tf.int64) # Recommendations
>>>
>>> metric = tf.metrics.precision_at_k(rel, rec, 10)
>>>
>>> sess = tf.Session()
>>> sess.run(tf.local_variables_initializer())
>>> precision, update = sess.run(metric)
>>> precision
0.2
>>> update
0.2
Run Code Online (Sandbox Code Playgroud)

因此,精度计算如下:

# of relevant items recommended to the user / # of recommendations
Run Code Online (Sandbox Code Playgroud)

我的问题是,update_op函数返回的变量是什么?

tensorflow

0
推荐指数
1
解决办法
783
查看次数