FinGLM

环境要求

• 已安装 git 和 git lfs（需先执行 git lfs install）
• Python 环境可用 pip3 安装依赖
• modelscope SDK 需为 v1.7.2rc0
• datasets 版本限制为 >=2.8.0, <=2.13.0
• 可访问 ModelScope 与阿里云 OSS 下载源

安装与启动步骤

1. 1安装 git lfs

   README 明确要求安装 git lfs，用于拉取大体积数据集文件，先完成初始化再克隆。

   git lfs install

   复制

2. 2克隆数据集仓库

   从 ModelScope 克隆 FinGLM 金融原始数据集仓库，体积较大，请预留足够磁盘空间。

   git clone http://www.modelscope.cn/datasets/modelscope/chatglm_llm_fintech_raw_dataset.git

   复制

3. 3升级 modelscope SDK

   README 标注为重要步骤，必须升级到 v1.7.2rc0，并使用官方 releases 源安装。

   pip3 install "modelscope==1.7.2rc0" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html

   复制

4. 4固定 datasets 版本

   datasets 版本需限制在 >=2.8.0 且 <=2.13.0，README 示例使用 2.13.0，避免版本冲突。

   pip3 install datasets==2.13.0

   复制

5. 5流式加载数据集

   使用 MsDataset 以流式方式加载数据集，推荐方式，stream_batch_size 可控制批大小。

   from modelscope.msdatasets import MsDataset
   
   ds = MsDataset.load('chatglm_llm_fintech_raw_dataset', split='train', use_streaming=True, stream_batch_size=1)
   for item in ds:
       print(item)

   复制

6. 6按建议处理数据

   README 建议依次做 PDF 文本表格提取、切分、建金融数据库、信息抽取与问答库、向量库。

关键配置

如何确认成功

运行加载脚本后终端持续 print 出数据集条目内容，即表示数据集加载成功。

常见问题

注意事项

• README 未提供模型权重下载与推理部署命令，本教程仅覆盖数据集获取与加载。
• modelscope 与 datasets 的版本限制是硬性要求，升级前先确认兼容性。
• 数据集包含大量年报文件，克隆和加载耗时较长，建议预留充足磁盘与内存。
• 项目代码目录下有多个参赛方案，可参考 code/ 下各方案实现自行选用。