Azure Databricks与ADLA进行处理

Question

目前，我所有的数据文件都存储在Azure Data Lake Store中。我需要处理这些大多数为csv格式的文件。该处理将在这些文件上运行作业，以提取与特定场景有关的日期或特定事件的特定数据（例如Data）的各种信息，或从多个表/文件添加数据。这些作业每天通过数据工厂（v1或v2）中的u-sql作业运行，然后发送到powerBI进行可视化。

使用ADLA进行所有这些处理，我觉得处理需要很多时间，而且看起来非常昂贵。我建议我将Azure Databricks用于上述过程。有人可以帮助我朝着两者之间的方向发展吗？我可以将所有U-sql作业修改为Databricks笔记本格式吗？

Answer 1

免责声明：我为Databricks工作。

在不知道您要使用多少数据，数据类型或处理时间长的情况下，很难给出优缺点或建议。如果要将Azure的Data Lake Analytics成本与Databricks进行比较，则只能通过与销售团队成员交谈才能准确地完成。

请记住，ADLA基于YARN群集管理器（来自Hadoop），并且仅运行U-SQL批处理工作负载。蓝色花岗岩的描述：

ADLA is focused on batch processing, which is great for many Big Data workloads. 
Some example uses for ADLA include, but are not limited to:

- Prepping large amounts of data for insertion into a Data Warehouse
- Processing scraped web data for science and analysis
- Churning through text, and quickly tokenizing to enable context and sentiment analysis
- Using image processing intelligence to quickly process unstructured image data
- Replacing long-running monthly batch processing with shorter running distributed processes

Databricks涵盖批处理和流处理，并处理ETL（数据工程师）和数据科学（机器学习，深度学习）工作负载。通常，这就是公司使用Databricks的原因。

• 更快，更可靠，扩展性更好的Apache Spark™。Databricks创建了定制版本的Apache Spark™（Databricks运行时），该版本进行了优化，处理速度比原始Apache Spark™高100倍。
• 消除了由于设置时间或成本而导致的基础架构瓶颈。Databricks在几分钟之内即可创建具有所有必要组件的Apache Spark™集群。在不涉及Ops / DevOps的情况下，安装了Apache Spark™，Python，Scala以及您需要的所有机器学习和深度学习库。群集可以自动扩展以仅在需要时使用额外的资源，未使用的群集将在设置的时间后自动终止，以避免产生不必要的成本。
• 面向数据工程师和数据科学家的统一分析平台。数据工程师和数据科学团队正在完全独立地工作。沟通不畅，彼此之间的代码和工作缺乏可视性，开发流程效率低下（获取数据，进行清理并准备进行分析）。Databricks提供了支持多种语言（SQL，R，Python，Scala等）的协作笔记本，因此这两个小组可以一起工作
• 消除流使用案例的复杂性。Databricks有一个称为Delta的新产品，它使您可以保持数据湖的规模，而不会遇到可靠性，性能和数据不一致性问题，这些问题通常是在处理大量流式无架构数据而其他人试图读取数据时发生的从中。Delta在Apache Spark™运行时的基础上提高了性能，并允许对数据湖中的数据进行upsert等操作（通常很难做到）。
• 企业安全性，支持以及一流的专业知识。通过第三方验证的安全性进行加密，访问控制等。Databricks贡献了75％的Apache Spark™代码库，因此所提供的知识和专业知识水平要比其他任何地方都要好。这些专业知识可以帮助您优化查询，调整集群，建议如何设置数据管道等。

除了这些原因之外，还有更多原因，但其中一些是最常见的原因。如果您认为这可能对您的情况有所帮助，则应在网站上进行试用。