Falcon-Perception

原生多模态模型推理，看图识文一步到位

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 计算机视觉 🍴 复刻 81 🐛 待处理 20 👀 关注 12
GitHub ↗
GitHub 星标 ★ 794
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源推理仓库，免费使用

项目预览

Falcon-Perception 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类计算机视觉
开发团队tiiuae
GitHubhttps://github.com/tiiuae/Falcon-Perception
定价模式🏷️完全免费
价格说明开源推理仓库，免费使用
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
GitHub 星标★ 794
上线时间2026-03-31 00:00:00
代码更新2026-09-11
仓库体积1.8 MB
本站数据更新2026-11-03
维护状态维护中
收录时间2026-09-19
浏览次数1

项目介绍

Falcon-Perception 是 Falcon 系列多模态模型的推理仓库，包含 Falcon-Perception 与 Falcon-OCR 两个模型。它们采用早期融合（early-fusion）架构，是原生多模态的稠密自回归 Transformer，而非把视觉编码器外挂到语言模型上的拼接方案。项目主要解决多模态模型在图像理解与文档 OCR 场景下的推理部署问题：用户可以通过该仓库加载权重、运行图像描述、视觉问答、文档文字识别等任务。核心能力包括统一的图文 token 序列建模、对密集文本图像（如扫描件、截图、表格）的识别，以及基于自回归生成的多模态输出。仓库以 Python 实现，提供推理脚本与模型加载入口，适合研究者复现和开发者做二次集成。作为早期项目，它更偏向模型能力验证与推理参考实现，而非开箱即用的生产级服务。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-19 · 当前星标 ★ 794

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：高级 约 45 分钟 部署方式：本地安装 4 步

环境要求

  • NVIDIA GPU 16G+
  • Python 3.10+
  • 模型权重

安装与启动步骤

  1. 1装 torch

    原生多模态模型，检测/分割/OCR 一体。

    pip install torch torchvision --index-url https://download.pytorch.org/whl/cu128

  2. 2装项目

    以可编辑模式装，方便改 demo。

    pip install -e .

  3. 3跑单图检测

    给图和文本查询，输出框。

    python demo/perception_single.py --image photo.jpg --query "cat"

  4. 4跑 OCR

    换 ocr 脚本，版面分析用 task 参数。

    python demo/ocr_single.py --image document.png --task ocr_layout

如何确认成功

检测结果框住了查询的物体，OCR 能返回版面块文本。

注意事项

  • Mac 上用 mlx 版本脚本，速度更快但精度略低。
  • 查询词用英文效果通常更好。
  • benchmark 脚本会从 HuggingFace 流式取样，注意网络。

核心亮点

  • 早期融合架构，视觉与文本在同一 Transformer 内建模，非外挂式拼接
  • 同时覆盖通用图像理解与 OCR 文档识别两类任务
  • 基于稠密自回归 Transformer，推理流程与主流 LLM 生态接近，便于改造

不足之处

  • 仅提供推理代码，缺少训练与微调流程
  • 作为早期项目，文档与示例覆盖有限，部署工具链不完整

适用场景

  • 扫描件、发票、表格等文档的批量文字提取
  • 对截图或图片做视觉问答与内容描述
  • 研究早期融合多模态架构的推理复现实验

替代项目

Qwen2-VL、InternVL、MiniCPM-V

上一篇：lw.PPOCR.C

下一篇：readur

同类项目推荐

Sa2VA 开源

一句话指挥AI分割图像视频，精准定位目标

Official Repo For Pixel-LLM Codebase: Sa2VA (T-PAMI-26), SAMTok (CVPR-26), VRT (Arxi···

★ 1698 2026-08-09
ViGeo 开源

让视频几何估计更连贯，重建更稳定

ViGeo: Towards Consistent Video Geometry Estimation

★ 141 2026-08-09
neverclick 开源

用键盘加本地视觉识别，替代鼠标点按操作

Keyboard-driven mouse control using local computer vision.

★ 488 2026-09-18
sparsefusion 开源

从稀疏视角生成高质量3D模型，重建新视角图像

[CVPR 2023] SparseFusion: Distilling View-conditioned Diffusion for 3D Reconstructio···

★ 380 2026-08-09
ComfyUI-Forbidden-Vision 开源

在ComfyUI中，轻松搞定动漫与写实人脸检测修复

Reliable face detection, segmentation and enhancement for ComfyUI with custom-traine···

★ 105 2026-08-09
D-FINE 开源

把 DETR 回归变细粒度，定位更准、收敛更快

D-FINE: Redefine Regression Task of DETRs as Fine-grained Distribution Refinement [···

★ 3385 2026-08-10
GutenOCR 开源

用 VLM 做 OCR 的训练评测一条龙工具

Open-source tools for training and evaluating Vision Language Models for OCR

★ 192 2026-09-19
vlmrun-cookbook 开源

照着 Notebook 跑通视觉大模型 API，快速做出文档识别原型

Examples and guides for using the VLM Run API

★ 312 2026-10-30
gyotaku 开源

截图里的字也能搜，输入关键词秒找旧图

search every screenshot you've ever taken by the text inside it. native linux, offli···

★ 378 2026-10-12