主讲人：唐博副教授（本校）及其DBGroup团队
大模型的两阶段：训练和推理
1.全球AI基础设施市场规模（美元） 2024：68B 2029：171B
即AI基础设施市场规模将持续增长
2.全球AI基础设施市场投入占比
2024：训练59% 推理41% 2029：训练71% 推理29%
即推理占据市场投入的比例将持续增长
后大模型时代聚焦推理
前大模型时代：f(x)–>y 后大模型时代：f+(x+)–>y+ x–>x+：检索增强 f–>f+：推理加速
推理加速案例（基于AlayaDB)
1.复用：对历史上下文进行缓存，当新问题输入时，优先从缓存中检索匹配片段，避免重复计算 2.稀疏注意力：通过复用筛选关键信息而非全部内容计算注意力分数，大幅减少计算量
从数据服务供应商看产业发展
Oracle 极致的数据管理能力
Databricks 极致的数据分析能力
AlayaDB
极致的数据生成能力