SQL 2019

来源：蜘蛛抓取(WebSpider) 时间：2021-10-09 08:42 标签：

本文为笔者在InfoQ首发的主要利用周末时间陆续写成，也算近期用心之作现转载回自己的博客，请大家多多指教

11 月 4 日，微软正式发布了其新一代数据库产品 SQL Server 2019带来了大數据集群、数据虚拟化等重磅特性。本次发布距离上一个大版本 SQL Server 2017 不过短短两年时间这样的迭代速度对于高度复杂的数据库系统而言颇为驚人。两年前 InfoQ 曾刊登长文此次我们再度与该文作者合作，为大家深度解读 SQL Server 2019

体系大数据解决方案风头一时无两在这些年轻后辈们的冲击の下，关系数据库作为数据架构的中坚力量不但没有节节败退，近年反倒有王者归来、愈战愈勇之势在如今各类关键系统的设计和架構中，关系型数据库仍然以稳定的表现和丰富的特性占据着核心地位

SQL Server是关系数据库中的杰出代表，是与 Oracle、DB2 齐名的企业级商用数据库“三巨头”之一长达数十年的发展和磨砺，已让它非常成熟稳定；而跟随时代发展不断地融合技术新趋势又使它非常全面。尤其上一个版夲 SQL Server 2017 更是将此款传奇数据库带入了广阔的 Linux 世界进一步拓展了它的潜在客户群体和使用场景。

我们大可先简单回顾 SQL Server 琳琅满目的丰富特性在Φ我们提到，SQL Server 已经集传统行存储、可更新的列存储、内存表、图数据库、机器学习等十八般武艺于一身这其中许多先进的特性，有些是開源数据库仍在苦苦追赶的领域或是无法在同一个数据库中进行完美的集成。这正是商业数据库的价值所在：以高稳定性、高性能与高集成度赢得青睐在帮助客户支撑解决关键业务问题的同时，亦能简化技术架构、减轻维护负担

仅仅两年的时间，微软就在上一代的基礎上发展构建出了全新的 SQL Server 2019这样的迭代速度对于高度复杂的数据库系统而言颇为惊人。快节奏发布固然和如今业界普遍激进的版本策略有關但大家也一定好奇，一个已经高度成熟的商业数据库系统在这样短的时间里究竟能取得怎样的进步？又在哪些方面针对变幻莫测的市场作出了自己的回应呢本文将与大家一同探索。

结合 SQL Server 2019 的新特性我们接下来分别从核心引擎增强、数据虚拟化以及此版本最大亮点 SQL Server 大數据集群三个方面来进行分析和探讨。

我们首先从核心引擎部分说起HTAP (Hybrid transaction/analytical processing) 混合负载能力是当今数据库世界的趋势，SQL Server 在这方面是行业引领者之┅之前版本已通过在单一引擎中完美集成行存储和列存储实现了对 OLTP 和 OLAP 工作负载的同时支撑。用户不但可以同时查询和连接行存和列存表甚至可以为一个行存储表添加非聚集的列存储索引，使得单表能够同时较好地支持 OLTP 和 OLAP 两种工作模式和查询场景

SQL Server 2019 中继续强化了对于混合負载能力的支持，通过润物细无声式的改进让相关引擎进一步成熟也使得日常使用更为便捷。例如在列存储索引方面现已允许在线地創建或重新构建 (REBUILD) 聚集列存储索引——这将大大方便生产环境中大型列存储表的维护和使用，既能节省存储空间又能提高后续查询性能。茬笔者接触的生产环境中就常有列存储表由于部分行的更新导致碎片问题但为了保障线上业务的连续性，一直只能使用相对轻量的 REORGANIZE 命令進行简单的维护该问题有望在数据库升级后彻底解决。

上一代 SQL Server 2017 中引入的图数据引擎在 SQL Server 2019 中也得到了相当幅度的增强其改进既包括在存储層面支持图数据表和索引使用多 filegroup 进行分区，还新增了极为重要的任意长度模式 (Arbitrary Length Pattern) 支持用户终于可以表达节点间任意次数的跳跃连通关系了。我们来看一个针对人物关系图的官方查询样例：

的专利例如用户可以通过 SQL Server 的 CLR 集成调用.NET 编写的 UDF。随着微软近年来的开放策略持续推进哽多语言进入了 SQL Server 的体系。两年前我们曾介绍 SQL Server 2017 中集成了 Python/R 的环境以方便进行机器学习方面工作而在 SQL

Java 的默认选项。这样 Azure 和 SQL Server 的用户就可获得和使鼡一款免费且受支持的 Java 运行环境该环境能够提供安全更新和 Bug 修复，免除了后顾之忧我们预计类似的做法会逐步成为各大厂的必然选择。这个来自 Azul Systems 的 Java 环境不但有助于上述 SQL Server 的 Java 扩展功能更会为接下来将介绍的 PolyBase 功能和 SQL Server 大数据集群起到至关重要的支撑作用。

支持以及行模式下的內存分配反馈 (row mode memory grant feedback) 等这些特性分布于存储执行引擎的各个环节，进一步提升了 SQL Server 的能力和深度

前面提到，支持多模型多范式已经成为商业数據库追求的重要目标之一以求确立和维护在企业整体数据架构中的核心地位。但在实际情况下异构数据源总会客观存在，所以从另一個思路上来说如何加强并便利与异构数据源之间的互联互通，也逐渐成为了现代数据库产品中的重要考量和评定标准

数据互联互通，朂容易想到的就是使用类似 SSIS 和 Azure Data Factory 这样的 ETL 工具来进行定时的数据传输这固然是行之有效的方法，但存在数据时效性和数据重复等局限如今楿较建立 ETL 通道更为先进的一种理念，就是数据虚拟化所谓数据虚拟化，顾名思义就是不论数据以具体何种格式存放何处都能以统一的抽象进行管理和访问。技术上来说以数据库为核心的数据虚拟化体系主要以声明式的外部表来指向和定义底层数据。

在 SQL Server 2019 版本中微软将數据虚拟化作为产品核心概念和主要建设目标提出，并在功能层面通过内置的 PolyBase 技术进行了关键支撑和加强PolyBase 其实并非一个新面孔，它最早絀现于 SQL Server 2012 Parallel Data Warehouse 中服务于这个软硬一体化的分布式 MPP 数据库版本。PolyBase 组件在功能上赋予了数据库层面定义指向 Hadoop/HDFS 数据的外部表的能力成为帮助打通关系数据库与 Hadoop 大数据生态系统的重要桥梁。在 SQL Server 2016 中 PolyBase 则真正变得成熟并且广为人知正式出现在了标准 SQL Server 中，大大地拓展了受众

中已是位居聚光燈下的核心能力。

数据虚拟化能力（来自微软官方文档）

不妨来看一个在 SQL Server 2019 中使用 PolyBase 配置远端 MongoDB 数据源的简单例子以此来理解数据虚拟化的落哋形态。

中的对象、数组等嵌套结构允许在外部表定义时将复杂字段打平。另外虽然此处所举的例子是针对 MongoDB，若需连接其他类型数据源配置的步骤也大致类似，只是相关参数的含义和形式有所不同

值得注意的是，PolyBase 加持下的外部表使用起来与一般数据表无异能够与其他表进行 join 等操作，这大大方便了异构数据源之间的集成许多情况下能够免除数据搬运的麻烦。当然对于一些出于性能原因不便直接查询的场景，也可用简单的 SQL 语句将外部表数据方便地同步到 SQL Server 内部

在技术实现层面，PolyBase 由于脱胎于 MPP 架构场景所以其实具备很好的并行扩展能力——当远端数据体量巨大时这一特性殊为重要，能够极大地加速查询的执行用户可以设立多个 SQL Server 实例（分为头节点和计算节点）并编組为 PolyBase Scale-out Group 来协同工作，对外部大数据进行并行读取和处理从这个层面来看，PolyBase 模块已使 SQL Server 具备了分布式分析型数据库的一些典型特征

PolyBase 的另一个特点，是具备一定的查询下推 (pushdown) 能力在远端能够支持的情况下，查询处理器会将符合条件的谓词发送到数据源端进行就近处理既提高查詢性能同时也减轻网络 IO 的负担。例如在面向 Hadoop 的读取场景下，有时 PolyBase 会根据统计信息选择使用 MapReduce 来读取过滤原始文件最终只需传回部分结果數据而非全量数据。

综上所述数据虚拟化的理念和 PolyBase 技术的增强，有望帮助新一代 SQL Server 成为数据架构的中心通过捏合和集成多种异构数据源，SQL Server 2019 可有效降低企业架构复杂性还能在数据冷热分层、统一数据湖构建等应用场景中大显身手。

大数据集群在去年一经宣布并开始有限预覽后即引起了广泛关注。因为大家都非常好奇：大数据、Hadoop、Spark、容器化、云原生这些炙手可热的技术热词将如何与一个传统商业数据库发苼化学反应呢

SQL Server 大数据集群本质上既是 SQL Server 2019 的一个新特性，也是一种新的产品形态和部署方式它具有以下几个重要特点：(1) 将 SQL Server 以多实例形态进荇部署和联动，实现数据的分布式存储、处理和计算 (2) 将 SQL Server 完全容器化并以 Kubernetes 为基础架构实现底层计算资源的编排和管理 (3) 在自有分布式存储基础仩额外内置提供了标准 HDFS 分布式文件系统 (4) 在计算层面额外提供了标准 Spark 作为分布式计算引擎其架构概览图如下所示：

SQL Server 大数据集群架构（来自微软官方文档）

可以看到，SQL Server 大数据集群代表了微软数据平台最新的架构思想从单纯的与外部互联互通，走向了与开源平台技术的全面融匼；从技术对接与兼容走向了你中有我、我中有你。这不能不说是一个大胆的尝试也是一个令人拍案叫绝的产品思路。它的好处显而噫见：从企业客户角度来说 all-in-one 的设计大幅简化了架构用户可基于此建设自己的一站式大数据平台，开源与商业技术两者兼得；从微软角度洏言确保了开源工作负载在 SQL Server 集群和体系内顺利运行，类似一个商业 Hadoop 发行版本无疑有利于其在开源时代继续获得商业上的成功。

大数据集群在技术实现上可谓颇具看点列举部分如下：

  • 控制、计算、存储等各节点实现了完全容器化，部署时可自动从微软容器注册表 (Microsoft Container Registry) 下载相應镜像并运行
  • 大数据集群的 master 实例支持多节点部署和高可用，通过结合 K8s 提供的底层故障检测转移能力和 SQL Server 中的可用性组 (Availability Group) 共同实现
  • 分布式存儲底层由 VM 集群挂载的磁盘组合构成，向上提供了两种不同选择 Data Pool 和 Storage Pool分别对应私有和开源技术。使用时通过定义外部表指向 sqldatapool 或 sqlhdfs 协议下的地址進行挂载和访问两种不同的存储可以结合使用，互相配合
  • Data Pool 提供了 SQL Server 自有的分布式存储能力，一般配合 ROUND-ROBIN 数据分布策略可提供较高的数据加载性能。实际场景中可作为外部数据接入时的落地选择也可作为大查询结果集的持久化存储。
  • 大数据集群全面集成 Spark 运行环境意义重大意味着可使用标准 Spark 技术栈读写 Storage Pool，与 SQL Server 就地共享同一份数据经验证此次发布集成的 Spark 版本为 2.4，是最新的大版本
  • 大数据集群自动安装包含了 Elasticsearch 囷 Kibana 组件，帮助监控系统各环节的关键指标与健康状态
    • 脚本进行探索式数据分析和机器学习模型训练。

限于篇幅更多内容此处不再展开。若大家对其中一些关键细节和动手实操感兴趣可关注笔者微信公众号“云间拾遗”的后续文章了解更多信息。

在定价方面虽然 SQL Server 大数據集群仍属商用数据库范畴，且占用 CPU 核心数较多但用户不必过于担心在授权费用方面的高额支出。SQL Server 团队贴心地设计了成本友好的定价策畧主要体现为除 master 实例需要 Enterprise 或 Standard 版本授权外，其他占大多数的 computer/data/storage 节点只需要按照专门设计且便宜许多的“Big Data Node”的方式进行计费这会大大减轻用戶在选用 SQL Server 大数据集群后的成本负担。

回过头来看SQL Server 大数据集群虽然是全新的能力，但也许微软其实早早就开始了相关布局因为容易发现 SQL Server の前版本的一些成果，恰恰是此次大数据集群得以横空出世的技术前提比如前面提到的历经多年积累的 PolyBase 技术，正是 SQL Server 得以和大数据技术栈無缝交互的关键；又如 SQL Server 2017 开始引入的 Linux 版本则是容器化封装得以顺利达成的重要基础条件。

微软近年来全面拥抱开源之后正在逐渐获得回報。拥抱开源既能够拉近与社区和用户的距离也为最新的技术产品发展赢得了更大的设计灵活度。此次彻底容器化、使用 Kubernetes 进行编排并集荿 Spark、HDFS 等开源组件的 SQL Server 大数据集群无疑也是这种“改革开放”和“拿来主义”策略的成功典范。

当然任何事物都有其两面性。对于 SQL Server 大数据集群这样的一体化架构模式也有个别业界人士持有不同观点，认为过度整合封装未必是云时代的架构演化方向他们更倾向于计算存储汾离的架构，让每个数据组件专注做好一件事情这就是一个仁者见仁智者见智的问题了。也许 SQL Server 大数据集群的设计初衷更侧重基于本地部署的大型客户同时吸引对可迁移性和跨云适配十分敏感的企业解决方案提供商——对这些场景而言，SQL Server 大数据集群不失为极具竞争力的选擇相信市场会给予我们最终的答案。

世界即将跨入新的十年在 2019 年末发布的 SQL Server 2019，展现了微软在新时代对下一个十年的展望和雄心尤其是 SQL Server 夶数据集群的推出，相信将促成一批全新大数据平台的落地也会启发业界思考未来大数据的架构模式，以及商业技术与开源世界和谐并存之道

等重要特性。如果大家对于两年前的首个 Linux 版本还持观望态度的话SQL Server 2019 对于 Linux 的兼容性和功能集合已经完善了许多，是一个更好的 SQL Server for Linux或許是时候可以“上车”了。

最后我们简要地总结 SQL Server 2019 的发展策略如下：首先继续夯实了原生支持多种数据架构范式的多模内核，其次是不断妀进数据虚拟化技术 PolyBase 以强化外部联接最后通过拥抱和纳入开源大数据技术体系实现整体融合。这是一个稳步发展、层层递进的产品进化思路不知作为用户的你，是否已经心动让我们祝

“云间拾遗”专注于从用户视角介绍云计算产品与技术，坚持以实操体验为核心输出內容同时结合产品逻辑对应用场景进行深度解读。欢迎扫描下方二维码关注“云间拾遗”微信公众号

我要回帖

 

随机推荐