C2C

让大模型直接交换缓存，省去转文本的中间损耗

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开发框架 🍴 复刻 98 🐛 待处理 7 👀 关注 11
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 771
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源代码，免费使用

项目预览

C2C 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开发框架
开发团队thu-nics
官网地址https://fuvty.github.io/thinking_yard_project_page/projects/c2c
GitHubhttps://github.com/thu-nics/C2C
定价模式🏷️完全免费
价格说明开源代码，免费使用
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型kv-cache,llm,multi-agent
GitHub 星标★ 771
上线时间2025-10-03 00:00:00
代码更新2026-10-28
仓库体积4.7 MB
本站数据更新2026-11-06
维护状态较活跃
收录时间2026-09-22
浏览次数5

项目介绍

C2C 是论文《Cache-to-Cache: Direct Semantic Communication Between Large Language Models》的官方代码实现，聚焦多智能体场景下大语言模型之间的通信效率问题。传统多模型协作通常把中间结果转成自然语言文本再传给下一个模型，既慢又丢失语义细节。C2C 提出让模型直接交换 KV-Cache 中的语义表示，实现缓存到缓存的直接通信，跳过文本序列化与重新编码环节。核心能力包括：跨模型缓存对齐与投影、语义级信息传递、在多智能体推理链路中降低 token 开销与延迟。项目基于 Python，涉及 kv-cache、llm、multi-agent 技术栈，适合研究模型间协作、推理加速与缓存复用的开发者参考实现。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-22 · 当前星标 ★ 771

技术标签

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：高级 约 60 分钟 部署方式：本地安装 4 步

环境要求

  • NVIDIA GPU 40G+
  • 两个模型的 checkpoint

安装与启动步骤

  1. 1建环境

    让两个模型直接通过 KV-Cache 通信。

    conda create -n rosetta python=3.10 -y && conda activate rosetta

  2. 2装本体与训练依赖

    训练与评测是分开的 extra。

    pip install -e .
pip install -e ".[training,evaluation]"

  3. 3准备两个 checkpoint

    至少要两个模型的权重。

    python script/playground/live_chat_example.py --checkpoint_dir path/to/ckpt1 path/to/ckpt2

  4. 4跑评测

    用统一评测器对齐口径。

    python script/evaluation/unified_evaluator.py --config recipe/eval_recipe/unified_eval.yaml

如何确认成功

双模型通信的准确率高于纯文本传递的基线。

注意事项

  • 思路是跳过「解码成文字再编码」，省掉信息损失。
  • 训练成本高，先用作者发布的 checkpoint 验证。
  • 两个模型的结构要能对齐，否则投影层学不动。

核心亮点

  • 用 KV-Cache 直接通信替代文本中转，思路新颖且直击多模型协作的 token 与延迟开销
  • 提供 ICLR'26 论文的官方实现，可复现论文实验，研究价值明确
  • 技术栈聚焦 kv-cache 与 multi-agent，代码方向清晰，便于二次实验

不足之处

  • 早期项目，文档与使用示例可能不完整
  • 依赖特定模型与缓存格式，跨模型泛化与工程落地仍需验证

适用场景

  • 多智能体协作推理中减少模型间通信开销
  • 研究 LLM 间语义级信息传递与缓存复用
  • 推理加速场景下探索非文本形式的模型接口

替代项目

AutoGen、LangGraph

上一篇：streamlit-webrtc

下一篇：ai-agents

同类项目推荐

langchain4j-community 开源

按需引入社区模块，让 Java 应用快速接上各家大模型与向量库

LangChain4j integrations that are maintained by the community

★ 224 2026-09-12
generative-ai-project-template 开源

一键生成AI项目骨架，省去配置烦恼，专注业务开发。

Template for a new generative ai project using uv, nicegui, fastapi, llms (cloud & l···

★ 118 2026-08-09
PiDeck 开源

把散落的 AI 会话统一收进桌面，随时恢复继续干

PiDeck 是一个开源的桌面工作台，用于在本地项目目录中统一管理 PI | DSH Agent 会话，并支···

★ 1185 2026-08-09
RAGLAB 开源

像搭积木一样对比RAG算法，论文复现不再头疼

[EMNLP 2024: Demo Oral] RAGLAB: A Modular and Research-Oriented Unified Framework fo···

★ 314 2026-08-09
miniagent 开源

几十行代码跑通 ReAct，让 LLM 自己调工具干活

A lightweight intelligent agent framework implementing the complete ReAct pattern

★ 192 2026-10-13
unionml 开源

用装饰器把模型一键变成微服务，快速上线 API

UnionML: the easiest way to build and deploy machine learning microservices

★ 336 2026-08-09
openai 开源

Flutter 应用一行接入大模型，聊天语音微调全支持

The unofficial OpenAI SDK for Dart & Flutter. Full API coverage + OpenAI-compatible ···

★ 665 2026-09-16
openai-agents-go 开源

用 Go 快速搭多智能体工作流，接 OpenAI 模型

A lightweight, powerful framework for multi-agent workflows in Go

★ 276 2026-10-13
ToolRegistry 开源

一套工具代码，无缝对接所有主流大模型

ToolRegistry: A Protocol-Agnostic Tool Management Library for Function-Calling LLMs ···

★ 67 2026-08-09