小编Han*_*koo的帖子

SPARK可以正确使用多核吗?

我读过火花,我发现火花是用scala写的.由于scala是一种函数式语言,如erlang,它可以正确使用多核.那是对的吗?

我想知道我是否可以在具有多核处理器的分布式系统中使用spark.单个任务可以同时使用所有核心吗?我读过YARN会在每个不同的任务上分配不同的核心,但在这种情况下,它只是一个任务

并且,它是否足以在JAVA(hadoop)中使用多线程编程来使用每台计算机中的所有内核?既然linux调度程序是基于线程的呢?

multithreading multicore apache-spark

10
推荐指数
1
解决办法
7356
查看次数

MySQL 1114 错误,表 /tmp/#sql 已满

我正在尝试在 MySQL 服务器中运行 TPC-H 查询。目前,我使用的是8.0.23版本(当我以某种方式使用8.0.19时,没有出现该错误)。TPC-H 的基准大小为 10 GB。

当我使用 8 个线程同时提交多个查询时,出现此错误(1114 错误,表 /tmp/#sql~~~ 已满)。有可能使用不同的线程同时提交相同或相似的查询。

但是,当我在 MySQL shell 中提交单个查询时,它会返回一个没有错误的结果。

这是查询(还有其他查询会引发相同的错误。)

with year_total as ( select c_customer_id customer_id , c_first_name customer_first_name , c_last_name customer_last_name , c_preferred_cust_flag customer_preferred_cust_flag , c_birth_country customer_birth_country , c_login customer_login , c_email_address customer_email_address , d_year dyear , sum(((ss_ext_list_price-ss_ext_wholesale_cost-ss_ext_discount_amt)+ss_ext_sales_price)/2) year_total , 's' sale_type from tpcds1.customer , tpcds1.store_sales , tpcds1.date_dim where c_customer_sk = ss_customer_sk and ss_sold_date_sk = d_date_sk group by c_customer_id , c_first_name , c_last_name , c_preferred_cust_flag , c_birth_country , c_login …
Run Code Online (Sandbox Code Playgroud)

mysql tpc

2
推荐指数
1
解决办法
4407
查看次数

标签 统计

apache-spark ×1

multicore ×1

multithreading ×1

mysql ×1

tpc ×1