我计划在Hadoop,MapReduce和其他大数据方面获得一些经验.最初我想在笔记本电脑上安装它.我想知道在Windows上安装Hadoop的最佳笔记本电脑硬件是什么.我假设我必须安装单节点安装,如果没有,请指导我正确的配置.关于Nadeem
我正在使用 Gensim 进行向量空间模型。从 Gensim 创建字典和语料库后,我使用以下行计算了(术语频率*逆文档频率)TFIDF
Term_IDF = TfidfModel(corpus)
corpus_tfidf = Term_IDF[corpus]
Run Code Online (Sandbox Code Playgroud)
corpus_tfidf 包含具有术语 ID 和相应 TFIDF 的列表的列表。然后我使用以下几行将 TFIDF 与 id 分开:
for doc in corpus_tfidf:
for ids,tfidf in doc:
IDS.append(ids)
tfidfmtx.append(tfidf)
IDS=[]
Run Code Online (Sandbox Code Playgroud)
现在我想使用 k-means 聚类,所以我想执行 tfidf 矩阵的余弦相似性问题是 Gensim 不产生方阵,所以当我运行以下行时,它会产生错误。我想知道如何从 Gensim 获取方阵来计算向量空间模型中所有文档的相似性。还有如何将 tfidf 矩阵(在这种情况下是列表列表)转换为 2D NumPy 数组。任何评论都非常感谢。
dumydist = 1 - cosine_similarity(tfidfmtx)
我使用了两个图像网络训练模型,即 VGG16 和 inception,在 python 中使用 Keras API 使用以下几行;其中 x 是输入图像,批量大小为简单起见 =1。
VGGbase_model = InceptionV3(weights='imagenet', include_top=False,
input_shape=(299,299,3))
Inceptionbase_model = VGG16(weights='imagenet', include_top=False,
input_shape=(224,224,3))
predictVgg16= VGGbase_model.predict_on_batch(x)
predictinception= Inceptionbase_model.predict_on_batch(x)
Run Code Online (Sandbox Code Playgroud)
我观察到 VGG16 模型预测的输出维度为 (1,512) ,我理解 512 是 VGG16 预测的特征。然而,初始模型输出的维度为 1,8,8,2048。我知道 2048 是 inception 预测的特征向量,但是什么是 8,8 以及为什么 VGG16 只有两个维度而 inception 有 3 个维度。请提出任何意见。
image-processing deep-learning conv-neural-network keras vgg-net
我正在使用 python Kmean 聚类算法来聚类文档。我创建了一个术语文档矩阵
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.cluster import KMeans
vectorizer = TfidfVectorizer(tokenizer=tokenize, encoding='latin-1',
stop_words='english')
X = vectorizer.fit_transform(token_dict.values())
Run Code Online (Sandbox Code Playgroud)
然后我使用以下代码应用 Kmean 聚类
km = KMeans(n_clusters=true_k, init='k-means++', max_iter=100, n_init=1)
y=km.fit(X)
Run Code Online (Sandbox Code Playgroud)
我的下一个任务是查看每个集群中的顶级术语,在 googole 上搜索建议许多人使用 km.cluster_centers_.argsort()[:, ::-1] 来使用以下命令查找集群中的顶级术语以下代码:
print("Top terms per cluster:")
order_centroids = km.cluster_centers_.argsort()[:, ::-1]
terms = vectorizer.get_feature_names()
for i in range(true_k):
print("Cluster %d:" % i, end='')
for ind in order_centroids[i, :10]:
print(' %s' % terms[ind], end='')
print()
Run Code Online (Sandbox Code Playgroud)
现在我的问题是,据我了解, km.cluster_centers_ 返回簇中心的坐标,例如,如果有 100 个特征和三个簇,它将返回一个 3 行和 100 列的矩阵,表示每个簇的质心。我希望了解上面的代码中如何使用它来确定集群中的顶级术语。感谢任何评论 Nadeem
我已经在Anaconda上使用以下命令安装了Cuda
conda install -c anaconda cudatoolkit
之前我也使用以下命令安装Tensorflow GPU版本
康达安装-c anaconda tensorflow-gpu
但是,Tensorflow-gpu未激活,并且当我运行以下脚本时:
from tensorflow.python.client import device_lib
print(device_lib.list_local_devices())
Run Code Online (Sandbox Code Playgroud)
名称:“ / device:CPU:0”
device_type:“ CPU”
memory_limit:268435456
化身{}化身:12015853371339101357]
调用包含或不包含模型顶层的 VGG16 模型有什么区别?我想知道,为什么在不包括顶层的情况下调用模型时,模型摘要中没有显示层的输入参数。我通过以下两种方式使用了 VGG16 模型:
from keras.applications import vgg16
model = vgg16.VGG16(weights='imagenet', include_top=False)
print(model.summary)
Run Code Online (Sandbox Code Playgroud)
模型中层的形状不显示任何输入即(无,无,无,64),请参见下文
Layer (type) Output Shape Param
===================================================================
block1_conv1 (Conv2D) (None, None, None, 64) 1792
block1_conv2 (Conv2D) (None, None, None, 64) 36928
block1_pool (MaxPooling2D) (None, None, None, 64) 0
Run Code Online (Sandbox Code Playgroud)
但是,以下代码返回输入参数
from keras.applications import vgg16
model = vgg16.VGG16()
print(model.summary)
Run Code Online (Sandbox Code Playgroud)
层的形状,在这种情况下,返回输入参数
Layer (type) Output Shape Param
==================================================================
block1_conv1 (Conv2D) (None, 224, 224, 64) 1792
block1_conv2 (Conv2D) (None, 224, 224, 64) 36928
block1_pool (MaxPooling2D) (None, 112, 112, 64) 0
Run Code Online (Sandbox Code Playgroud)
我试图理解为什么会这样,请发表评论
我是html5的新用户,并使用画布为我的应用程序之一绘制圆圈.我画了几个弧形成一个圆圈.它工作正常.但是我的问题是我想为每个弧关联一个单独的鼠标事件.
我g目结舌,发现KinteticJS可能很有用.我想知道是否有任何其他方法可用于为使用画布创建的每个弧附加鼠标事件.请注意我只使用了一个画布,没有鬼画布,我不想使用SVG.下面是我使用的代码行:
context.arc(x, y, radius, startAngle, endAngle, counterClockwise);
canvas.addEventListener("mousedown", doMouseDown(evt), false);
Run Code Online (Sandbox Code Playgroud)
对于nad
k-means ×2
keras ×2
tensorflow ×2
anaconda ×1
canvas ×1
corpus ×1
cuda ×1
gensim ×1
hadoop ×1
hardware ×1
html5 ×1
javascript ×1
keras-2 ×1
keras-layer ×1
mapreduce ×1
mouseevent ×1
numpy ×1
python ×1
python-3.x ×1
scikit-learn ×1
tf-idf ×1
vgg-net ×1