multimedia-gpt
给 ChatGPT 加上眼睛和耳朵，直接看图说话、听音作答。
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 176
技术标签
核心亮点
- 直接复用 OpenAI 官方 API，无需额外训练模型，接入成本低。
- 代码结构简洁，核心逻辑清晰，适合二次开发和定制。
- 同时支持视觉和音频输入，覆盖多模态交互常见场景。
不足之处
- 文档和示例较少，上手需要自行阅读源码。
- 依赖 OpenAI 付费 API，且多模态输入可能增加调用成本。
适用场景
- 为聊天机器人增加图片理解能力，如识别截图或照片内容。
- 在语音助手场景中，让模型直接处理用户语音指令。
- 作为教学示例，演示如何用 Python 调用 OpenAI 多模态接口。
替代项目
OpenAI Whisper + GPT-4V 组合方案、LangChain 多模态模块、LLaVA（视觉语言助手）
上一篇：GO-Bot-DRL
同类项目推荐
chatty
开源
在浏览器里直接跑大模型，私密聊天不泄露
ChattyUI - your private AI chat for running LLMs in the browser
wpp-chatgpt
开源
让 WhatsApp 机器人秒变 ChatGPT，自动智能回复
Make your whatsapp BOT talk like a human using ChatGPT!
AICat
开源
用原生 SwiftUI 在苹果全家桶上畅聊 ChatGPT
Multiplatform Client for ChatGPT using SwiftUI, support iOS, iPadOS & MacOS
PersonalAssistantChatbot
开源
用语音和视觉打造你的桌面级个人助理
It is a personal assistant chatbot, capable to perform many tasks same as Google Ass···
osschat
开源
在聊天框里问 Apache 项目，秒回社区信息
Apache Open Source Software Chat BOT
beaver-server
开源
开箱即用的私有化 IM+音视频，助你快速搭建专属聊天应用。
海狸 IM (Beaver)｜全平台、功能齐全、易二开，一站式私有化即时通讯 & 实时音视频方案
Oxide-Lab
开源
本地跑大模型，聊天不花钱不泄密
Modern desktop application (Rust + Tauri v2 + Svelte 5 + Candle (HF)) for communicat···
awesome-userscripts
开源
精选优质用户脚本，一键增强浏览器体验
A curated list of Awesome Userscripts.
ConvoKit
开源
几行代码把聊天记录变成可分析的社会行为特征
ConvoKit is a toolkit for extracting conversational features and analyzing social ph···