大模型与生成式AI

大模型（Large Model），是指具有大规模参数和复杂计算结构的机器学习模型。这些模型通常由深度神经网络构建而成，拥有数十亿甚至数千亿个参数。大模型的设计目的是为了提高模型的表达能力和预测性能，能够处理更加复杂的任务和数据。它们在各种领域都有广泛的应用，包括自然语言处理、计算机视觉、语音识别和推荐系统等。

大模型当前主要有三大分类，包括语言大模型（NLP）、视觉大模型（CV）、多模态大模型。

大数据平台

大数据平台未企业提供了一系列能力，以支持数据的整个生命周期，从数据的采集、存储、处理、分析到可视化和智能应用等，典型关键能力包括数据采集与集成，数据存储与管理，数据清洗与预处理，数据加工与处理，数据分析与挖掘，数据可视化，智能应用与自动化，数据安全与合规等。

大数据和大模型结合场景举例

1）自然语言查询

LLM可以理解自然语言，将其转换为结构化查询语言，使非技术用户也能轻松查询复杂数据库，当前比较热的ChatSQL或者Text2SQL都属于这个类别，但准确性和安全性仍然是挑战。典型的Text2SQL使用场景包括SQL生成、SQL注释、SQL解释、SQL纠错、SQL优化等。

2）智能洞察分析

LLM可以分析大量数据，识别模式和趋势，并以易懂的自然语言形式呈现洞察，也是BI领域增强分析的未来。但这个应用的基础是ChatSQL，同时不仅理解数据，还要进行复杂的分析和推理，集成度和复杂度非常高。虽然潜力巨大，但目前的准确性和可靠性还不足以在关键业务决策中进行依赖。

3）元数据管理和数据目录增强

a. 大模型可以基于最基础的技术元数据信息和业务样例数据，自动填充其他的核心元数据信息，如表的中文名、业务口径、描述、标签，字段的中文名、描述、取值说明、敏感等级等；

b. 大模型的代码解读能力有助于提升复杂代码、异构数据库和多类型加工脚本场景下的血缘解析的成功率和准确率；

c. 基于数据对象的元数据、业务样例数据，自动推荐数据对象所属的数据分类或挂载的数据目录；

4）异常检测和数据质量监控

LLM可以学习正常的数据模式，快速识别异常或不一致的数据点，同事大模型可以分析数据的完整性、一致性、准确性和时效性等指标，实时评估数据质量，并发现潜在的问题和风险。根据评估结果，提供针对性的改进建议和优化方案。