# 《高性能SQL引擎》开篇:我要手把手教你手搓一个高性能SQL引擎项目

作者:冰河
星球:http://m6z.cn/6aeFbs (opens new window)
博客:https://binghe.gitcode.host (opens new window)
文章汇总:https://binghe.gitcode.host/md/all/all.html (opens new window)
源码获取地址:https://t.zsxq.com/0dhvFs5oR (opens new window)

沉淀,成长,突破,帮助他人,成就自我。

  • 本章难度:★☆☆☆☆
  • 本章重点:主要介绍在接下来的一段时间中,冰河要带着大家从零开始一起手写一个支持各种高并发、高性能场景、支持各种灵活多变的复杂查询业务场景、自动生成SQL的引擎项目。

大家好,我是冰河~~

今天,正式通知大家一件事情:我们又要开启新项目了,这也是 冰河技术 知识星球继《手写高性能Polaris网关》 (opens new window)《手写高性能RPC》 (opens new window)《Seckill秒杀系统》 (opens new window)《分布式IM即时通讯系统》 (opens new window)、《手写高性能熔断组件》、《手写高性能监控组件》、《简易商城脚手架》等项目后,又一个支持各种高并发、高性能场景、支持各种灵活多变的复杂查询业务场景、自动生成SQL的引擎项目。星球其他项目与专栏,大家可移步到冰河的个人站点:https://binghe.gitcode.host (opens new window) 进行查看。


没错,在今后一段时间内,冰河又要带着大家搞事情了,那就是带着大家从零开始,一步步手写一个支持各种高并发、高性能场景、支持各种灵活多变的复杂查询业务场景、自动生成SQL的引擎项目。

这可能是你职业生涯中最具含金量的一次点击,点击【查看更多 (opens new window)】了解冰河技术知识星球更多硬核技术和优质项目。

这里,会涉及到很多互联网大厂研发过程中所使用的核心技术和架构设计模式,也有冰河在互联网大厂工作过程中,自主研发和深度参与基础软件和基础中间件架构设计和研发过程中所使用到的核心架构模式和核心技术,更重要的是,项目中积累了冰河在解决大厂基础架构问题和灵活多变的复杂业务问题的经验。


在《高性能SQL引擎》项目中,你学到的不仅仅是一个自动生成SQL的引擎项目,更重要的是要学会大厂处理高并发、大流量场景的技术方案和架构设计思想以及处理灵活多变的复杂业务问题的经验,并学会如何将这些技术方案和架构设计思想落地到实际项目中。

# 一、项目背景

曾几何时,冰河还在大厂基础数据部门做数据与中台相关的架构设计时,每天面对着灵活多变的复杂查询场景,例如:各种报表分析、日志数据分析、用户行为分析、用户画像与各种维度分析、广告埋点数据分析、商品分析、大促、营销数据与场景分析等等。这些数据查询与分析,如果没有一个通用的基础设施解决方案,根本是行不通的。

试想,在各种灵活多变的复杂查询和分析场景下,如果只是采用传统的CRUD模式,搭建常规的CRUD业务系统提供业务接口查询,那对于业务层的代码实现是相当复杂的,并且传统业务层的设计再灵活,也难以满足各种灵活复杂的业务场景。


随着基础数据越来越庞大,数据分析场景越来越多,业务层的架构设计也会越来越复杂,业务层的代码也会越来越复杂,在这些背景的加持下,数值分析部门提出一个查询分析需求时,业务层的实现要过比较长的一段时间才能满足需求,严重影响了数据分析的及时性,也在一定程度上影响了公司乃至集团的战略决策。


所以,在为了摆脱这种困境,冰河开始调研和实践一种行之有效的方案,经过各种尝试和实践,终于探索出一种行之有效的落地方案——自研高性能SQL引擎项目,经过在公司的落地实践证明,方案完全可行,业务层几乎不用改动即可满足灵活多变的复杂查询业务场景。

# 二、适应人群

很长一段时间内,星球的小伙伴也经常问冰河,在各种灵活复杂的查询业务场景下,如何能够有效的减少业务层的改动来适应这种灵活多变的业务场景。另外,很多小伙伴在和冰河交流的过程中,也普遍存在如下几个问题:


  • 刚毕业,想快速提升自己,快速积累复杂业务经常经验,但不知从何学起。
  • 校招、社招没什么拿的出手的项目,投出的简历石沉大海。
  • 一直在小公司做CRUD,根本接触不到灵活多变的复杂业务场景,更别说为这些场景提供解决方案了。
  • 公司项目没什么并发,在线人数也不多,积累的数据量根本就不多,只是简单的CRUD就能满足需求。
  • 学了很多高并发和高性能的知识,也知道一些概念,能说出一些简单的方案,但是没实际项目经验。
  • 自我感觉掌握了一些高并发、高性能编程的技术方案,但是在真正做项目时,还是不知道如何下手。
  • 想做一些高并发、高性能相关的中间件和业务项目,根本不知道怎么做,更别提架构设计和研发了。
  • 简历上写了数据分析项目,在面试过程中,面试官一般会问数据分析的实现原理和底层架构设计,或者其他数据分析通用解决方案相关的问题,不知道怎么回答。
  • 在大厂工作多年,参与了一些系统的建设与研发,但是也没机会参与支持灵活多变的复杂业务场景的高性能通用基础中间件的建设过程。
  • 业务场景灵活且复杂,但没有行之有效的方案解决灵活多变的业务场景问题。
  • 其他问题。。。

从冰河自身角度来说,是为了解决公司实际场景问题,而自研高性能SQL引擎项目。从各位小伙伴们的反馈来看,小公司的小伙伴受限于业务,接触不到高并发、大流量的复杂业务场景,大厂的小伙伴由于某些原因没有被分到高并发、大流量的复杂业务场景部门。又有些小伙伴是正在经历灵活且复杂的业务场景,但没有行之有效的方案解决灵活多变的业务场景问题。


所以,如果你正在被如上问题所困扰,不妨跟冰河一起学习下高性能SQL引擎项目,向前迈出一步,或许困扰你的问题就被迎刃而解。

# 三、技术选型

这次带着大家一起手写的高性能SQL引擎项目去除了各种复杂的场景校验逻辑,在代码结构上非常精简,核心功能就是通过JSON模板或者直接创建对象组合动态生成SQL,不再依赖各种实体模型来接收和传递数据。代码精简,意味着性能会非常高,同时,也意味着使用到的技术也会非常简单。主要的技术选型如下:

  • 基础工具:Hutool
  • 单元测试:Junit
  • 基准性能测试:JMH
  • 压力测试:JMeter

没错,这次的高性能SQL引擎项目所使用到的技术就是这么简单。

# 四、系统大纲

为了大家能够更好的学习和理解高性能SQL引擎项目,我们会将整体专栏分成几部分,大致的专栏提纲如下所示。

  • 第01部分:需求分析

    • 第01节:为何要学习高性能SQL引擎项目
    • 第02节:高性能SQL引擎项目的目标和挑战
    • 第03节:高性能SQL引擎功能点梳理
    • 第04节:...
  • 第02部分:架构设计

    • 第01节:总体方案目标和架构设计
    • 第02节:高性能SQL引擎的通用化落地
    • 第05节...
  • 第03部分:数据模型设计

    • 第01节:SQL引擎模板设计与实现
    • 第02节:表模型设计与实现
    • 第03节:分组与聚合模型设计与实现
    • 第04节:关联模型设计与实现
    • 第05节:条件模型设计与实现
    • 第06节:分页模型设计与实现
    • 第07节:排序模型设计与实现
    • 第08节:...
  • 第04部分:高性能SQL引擎

    • 第01节:SQL构建器设计与实现
    • 第02节:SQL引擎设计与实现
    • 第03节:...
  • 第05部分:测试验证

    • 第01节:单元测试场景验证

    • 第02节:JMH基准性能测试

    • 第03节:JMeter压力测试

    • 第04节:...

  • 第06部分:...

    • 第01节:...
  • 第07部分:...

    • 第01节:...

注意:上述大纲在实际专栏推进过程中,由于专栏需要,可能会发生变化。

整体课程采用视频+小册+源码+1v1问答形式,加入星球即可加入专属交流群,并且星球提供了简历优化服务,还为大家准备了1000+精美简历模板,助力小伙伴们升职加薪,让你在面试过程中更具竞争力。加入星球,猛戳如下链接获取1000+精美简历模板。

# 五、如何学习

1.加入 冰河技术 知识星球(文末有知识星球优惠券,高性能Polaris网关项目已完结,即将涨价),才能查看星球专栏文章,学习专栏视频课程,查看星球置顶消息,申请加入项目,才能看到项目代码和技术小册,如果未申请加入项目,点击项目链接,你会发现是404页面。

2.专栏的每一章会对应一个代码分支,学习视频和专栏文章时,大家对照代码分支学习即可。

3.学习过程中最好按照章节顺序来学习,每一章前后都是比较连贯的,并且每一章的代码实现也有先后顺序,这样按照从前往后的顺序学习,最终你会实现一个完整的高性能SQL引擎项目。

注意:学习的过程,不是复制粘贴代码的过程,赋值粘贴代码是没有任何意义的,最好的学习方式就是自己动手实现代码,然后思考、总结。

4.代码结构:master分支是最新的全量代码,专栏中每一个章节和视频都会对应一个代码分支,切换到章节对应的代码分支后,即可根据当前章节和视频学习对应的代码实现,不然,在master分支中看到的是全量的代码。

5.对应代码实现上的问题,可以在专栏对应的源码提issuse

6.冰河会为《高性能SQL引擎》专栏录制完整的视频课程。

# 六、写在最后

在冰河的知识星球除了已完结的高性能网关和热更的RPC视频外,还有其他10个项目,像DeepSeek大模型、手写高性能熔断组件、手写通用指标上报组件、手写高性能数据库路由组件、分布式IM即时通讯系统、Sekill分布式秒杀系统、手写RPC、简易商城系统等等,这些项目的需求、方案、架构、落地等均来自互联网真实业务场景,让你真正学到互联网大厂的业务与技术落地方案,并将其有效转化为自己的知识储备。

值得一提的是:冰河自研的Polaris高性能网关比某些开源网关项目性能更高,并且冰河也正在为企业级高性能RPC框架录制视频,全程带你分析原理和手撸代码。 你还在等啥?不少小伙伴经过星球硬核技术和项目的历练,早已成功跳槽加薪,实现薪资翻倍,而你,还在原地踏步,抱怨大环境不好。抛弃焦虑和抱怨,我们一起塌下心来沉淀硬核技术和项目,让自己的薪资更上一层楼。


目前,领券加入星球就可以跟冰河一起学习《DeepSeek大模型》、《手写高性能Polaris网关》、《手写高性能RPC项目》、《分布式Seckill秒杀系统》、《分布式IM即时通讯系统》《手写高性能通用熔断组件项目》、《手写高性能通用监控指标上报组件》、《手写高性能数据库路由组件项目》、《手写简易商城脚手架项目》、《Spring6核心技术与源码解析》和《实战高并发设计模式》,从零开始介绍原理、设计架构、手撸代码。

花很少的钱就能学这么多硬核技术、中间件项目和大厂秒杀系统与分布式IM即时通讯系统,比其他培训机构不知便宜多少倍,硬核多少倍,如果是我,我会买他个十年!

加入要趁早,后续还会随着项目和加入的人数涨价,而且只会涨,不会降,先加入的小伙伴就是赚到。

另外,还有一个限时福利,邀请一个小伙伴加入,冰河就会给一笔 分享有奖 ,有些小伙伴都邀请了50+人,早就回本了!

# 七、其他方式加入星球

  • 链接 :打开链接 http://m6z.cn/6aeFbs 加入星球。
  • 回复 :在公众号 冰河技术 回复 星球 领取优惠券加入星球。

特别提醒: 苹果用户进圈或续费,请加微信 hacker_binghe 扫二维码,或者去公众号 冰河技术 回复 星球 扫二维码加入星球。

好了,今天就到这儿吧,我是冰河,我们下期见~~