标签: singlestore

我是Docker的新手,并试图通过本教程从Docker镜像设置MemSQL - http://docs.memsql.com/4.0/setup/docker/.我在Mac上,教程使用boot2docker似乎已被弃用.

VM需要4GB内存才能运行.本教程指定了如何执行此操作,boot2docker但我找不到使用docker-machine/docker工具箱执行此操作的方法.

这是我正在使用的命令和错误我只是试图通过教程而不改变boot2docker配置.

docker run --rm --net=host memsql/quickstart check-system
Error: MemSQL requires at least 4 GB of memory to run.

MemSQL声称自己是"世界上最快的数据库"

比DB2,Oracle,mySQL和SQL服务器更快.任何人都可以保证这个吗？

我搜索过网络并试图收集尽可能多的关于此的信息.MemSQL声称是这个星球上最快的数据库.比Oracle,DB2,MySQL和MS SQL更快.

我甚至与他们的员工,创始人(facebook前员工)谈过他们的产品.我也看到了每个人都在谈论的诙谐的基准测试.这个举动真的值得吗？Ashton Klutcher是该组织背后的天使投资资本家并没有向我展示真正的价值.我的意思是,Google BigTable对某些人来说会更好.

任何人都可以分享提示,文章,教程..甚至他们的一些真正的客户.他们的网站没有显示真实的例子,它缺乏与其他数据库产品相关的社区 - 商业也是如此.

请不要贬低,他们几乎没有任何东西,我真的想要一堆看看它.我被炒作所吸引,我承认,它看起来很棒,视频......文档和品牌......但是真的......它真好吗？商业产品仅限于32GB,我知道许多数据库很容易完成.

我意识到其他人有类似的问题,但这使用v2 compose文件格式,我没有找到任何东西.

我想制作一个非常简单的测试应用程序来玩MemSQL,但我不能让卷不被删除docker-compose down.如果我已经理解了Docker Docs,那么在没有明确说明的情况下不应删除卷.一切似乎都可以使用,docker-compose up但在下降后再次上升所有数据都会从数据库中删除.

作为一个好的做法,我建议使用单独的memsqldata服务作为单独的数据层.

这是我的docker-compose.yml:

version: '2'
services:
    app:
        build: .
        links:
            - memsql
    memsql:
        image: memsql/quickstart
        volumes_from:
            - memsqldata
        ports:
            - "3306:3306"
            - "9000:9000"
    memsqldata:
        image: memsql/quickstart
        command: /bin/true
        volumes:
            - memsqldatavolume:/data

volumes:
    memsqldatavolume:
        driver: local

使用Spark 1.4.0,我试图使用insertIntoJdbc()将数据从Spark DataFrame插入到MemSQL数据库中(应该与MySQL数据库交互).但是我一直得到Runtime TableAlreadyExists异常.

首先,我创建这样的MemSQL表:

CREATE TABLE IF NOT EXISTS table1 (id INT AUTO_INCREMENT PRIMARY KEY, val INT);

然后我在Spark中创建一个简单的数据框,并尝试像这样插入到MemSQL中:

val df = sc.parallelize(Array(123,234)).toDF.toDF("val")
//df: org.apache.spark.sql.DataFrame = [val: int]

df.insertIntoJDBC("jdbc:mysql://172.17.01:3306/test?user=root", "table1", false)

java.lang.RuntimeException: Table table1 already exists.

我遇到了 Pandas 的性能问题并将 DataFrames 写入 SQL DB。为了尽可能快，我使用了memSQL（它就像代码中的 MySQL，所以我不必做任何事情）。我刚刚对我的实例进行了基准测试：

docker run --rm -it --link=memsql:memsql memsql/quickstart simple-benchmark
Creating database simple_benchmark
Warming up workload
Launching 10 workers
Workload will take approximately 30 seconds.
Stopping workload
42985000 rows inserted using 10 threads
1432833.3 rows per second

这不是光荣的，它只是我本地的笔记本电脑。我知道......我也在使用 root 用户，但它是一个废弃的 Docker 容器。

这是将我的 DataFrame 写入数据库的代码：

    import MySQLdb

    import mysql.connector
    from sqlalchemy import create_engine
    from pandas.util.testing import test_parallel

    engine = create_engine('mysql+mysqlconnector://root@localhost:3306/netflow_test', echo=False)
    # max_allowed_packet = 1000M in mysql.conf
    # no effect

    # @test_parallel(num_threads=8)
    def …

我需要首先指出,我绝不是一个数据库专家.我知道如何使用几种需要数据库后端的语言来编程应用程序,并且相对熟悉MySQL,Microsoft SQL Server和现在的MEMSQL - 但同样,不是数据库方面的专家,所以非常感谢您的输入.

我一直在开发一个必须交叉引用几个不同表的应用程序.我最近遇到的一个非常简单的问题是,我必须:

1. 每天将600K到1M的记录下拉到临时表中.
2. 比较这个新数据拉和旧数据之间的变化.将该信息记录在单独的表中.
3. 使用新记录重新填充表.

运行#2是类似于的查询:

SELECT * FROM (NEW TABLE) LEFT JOIN (OLD TABLE) ON (JOINED FIELD) WHERE (OLD TABLE.FIELD) IS NULL

在这种情况下,我正在比较给定字段上的两个表,然后提取已更改内容的信息.

在MySQL(v5.6.26,x64)中,我的查询超时.我正在运行4个vCPU和8 GB的RAM,但请注意我的配置的其余部分是默认配置(没有调整任何参数).

在MEMSQL(v5.5.8,x64)中,我的查询在第一次尝试时运行大约3秒.我正在使用4个vCPU和8 GB RAM运行完全相同的虚拟服务器配置,还要注意我配置的其余部分是默认配置(没有调整任何参数).

此外,在MEMSQL中,我正在运行单节点配置.MySQL也是如此.

我喜欢使用MEMSQL让我继续开发我的项目的事实,而且我遇到了更大的跨表计算查询和我可以运行的视图,这些查询和视图在MEMSQL上运行得非常好......但是,在理想的世界中,我会用MySQL.我已经遇到过这样一个事实:我需要使用一组不同的工具来管理我的实例(即:MySQL Workbench与MEMSQL服务器的工作相对较好,但我实际上需要使用开源SQL Workbench构建视图和表格,使用Visual Studio MySQL连接器同样适用于工作,但有时会很痛苦,因为某些原因我可以添加查询但不能添加表适配器)...抱歉,我会单独提交问题:)

考虑到两个虚拟机的配置完全相同,并且SSD支持,任何人都可以给我任何关于如何调整MySQL实例以运行MySQL上面的大查询的建议吗？我知道我也可以创建一个内存数据库,但我读过可能会有一些持久性问题这样做,不确定.

谢谢!

我正在尝试为我在MemSQL中创建的2个超级简单表创建一个实体模型:

CREATE TABLE foo(id int primary key auto_increment, name varchar(20));
CREATE TABLE t(id int primary key auto_increment);

我正在使用Entity Framework 6.1.x. 我安装了MySQL连接器,因为MemSQL是与MySQL兼容的二进制协议,在我的项目中添加了一个新的ADO.NET实体模型并完成了向导.遇到以下问题:

1. 大多数情况下,向导会超时尝试查询表和视图列表.它可能是这样的,因为MemSQL集群在Azure中是远程的.我明天会尝试创建一个本地虚拟机群集,然后再试一次.
2. 它成功读取表和视图列表的时间,我选择了两个表,然后让Entity Framework生成模型.我收到以下错误:

由于以下异常,无法生成模型:'System.Data.Entity.Core.EntityCommandExecutionException:执行命令定义时发生错误.有关详细信息,请参阅内部异常 ---> MySql.Data.MySqlClient.MySqlException:您的SQL语法有错误; 检查与MySQL服务器版本对应的手册,以便在第47行使用"LEFT(COLUMN_TYPE,10)='tinyint(1)','bool',IF(LEFT(COLUMN_TYPE,10)'附近的正确语法

所以我不知所措.是否可以将实体框架与MemSQL一起使用？

我们正在改变我们当前的用户端MySQL数据库.我们有一个网站+移动应用程序,美国各地的用户查询我们的数据库.相关数据包含在三个表中,并且需要针对三个表的连接查询以将相关结果发送给用户.

发送回用户的结果是小尺寸(<6kb).如果我们的目标是降低延迟并且吞吐量是低优先级,则以下两个数据库中的哪一个会表现得更好:

MemSQL还是AWS Aurora？

它们都具有相同的硬件起始成本(约0.28美元/小时).我们现在只考虑这两个数据库,以便我们可以继续使用"MySQL"内部知识.

我喜欢我可以将数据库头痛外包给Aurora.但是,MemSQL读取/写入内存的能力肯定是一种低延迟的解决方案吗？

我已经安装了MemSQL社区版(单主机群集),一切运行良好.我需要允许远程访问数据库,但MemSQL在没有密码的情况下安装用户root.如果我打开防火墙上的3306端口,memSQL很乐意允许任何人以root身份登录而无需密码.

我试图通过更改root用户密码

mysqladmin -u root -h 127.0.0.1  password abc123

但我得到的错误

mysqladmin: unable to change password; error: 'Unknown system variable 'password''

我也尝试在以root身份连接后进行更改.所有这些都失败了:

mysql> SET PASSWORD = 'abc123';
ERROR 1193 (HY000): Unknown system variable 'PASSWORD'

mysql> SET PASSWORD = PASSWORD('abc123');
ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '('abc123')' at line 1

mysql> SET PASSWORD = OLD_PASSWORD('abc123');
ERROR 1064 (42000): You have …

我是MemSQL的新手.我在集群中的MemSQL中创建了一个数据库和表,其中包含5个叶子节点和2个聚合器节点.Spark在同一个集群上运行.一切都处于默认模式.插入的数据和删除相同.select*不返回任何内容.但是当我看到web clusterUI时,每个叶子节点仍然消耗大约6TB的磁盘空间.

磁盘容量说明"这是MemSQL使用的磁盘空间量相对于可用的总磁盘空间.如果已满,则不能创建快照,事务日志或列存储数据".

通过这个描述,我假设6TB以上的磁盘空间是因为MemSQL的使用.

请一些人澄清一下

1. 默认情况下MemSQL是否也将数据写入磁盘？
2. 删除内容和删除表后,是否删除写在磁盘上的数据？
3. 如何释放MemSQL消耗的磁盘空间？我要删除哪个目录？我发现目录"/ var/lib/memsql/leaf-3306"具有此叶节点的所有memsql工件.