mdream

把网页 HTML 秒变干净 Markdown,直接喂给大模型

开源 🏷️定价信息待确认 ⏳ 访问状态待核验 办公效率 🍴 复刻 66 🐛 待处理 8 👀 关注 7
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 1032
维护状态 活跃
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

mdream 项目界面预览图
图片来源:项目官网

项目数据

分类办公效率
开发团队harlan-zw
官网地址https://mdream.dev
定价模式🏷️定价信息待确认
价格说明定价信息待确认
访问状态⏳ 访问状态待核验
是否开源是
开源协议MIT
主要语言TypeScript
GitHub 星标★ 1032
上线时间2025-04-16 00:00:00
代码更新2026-11-20
仓库体积78.0 MB
本站数据更新2026-11-21
维护状态活跃
收录时间2026-11-21
浏览次数0

项目介绍

mdream 是一个用 TypeScript 编写的 HTML 转 Markdown 工具,主打速度与面向大模型场景的适配。它解决的是网页内容在进入 LLM 之前需要清洗成结构化纯文本的问题:直接喂原始 HTML 既浪费 token 又夹杂导航、脚本等噪声。核心能力包括高速转换、流式处理(可边接收 HTML 边输出 Markdown,适合抓取大页面或边下边转)、针对 LLM 输出做精简优化,减少冗余标记。项目提供简洁 API,可嵌入 Node 服务、爬虫管线或 RAG 预处理流程,把抓到的网页快速变成可读、可切分的 Markdown 文本。相比通用转换库,它更强调吞吐和流式低延迟,适合批量网页入库、内容摘要、知识库构建等场景。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-21 · 当前星标 ★ 1032

使用教程

难度:入门 约 10 分钟 部署方式:库/依赖 5 步

环境要求

  • Node.js 运行环境(Node 下使用 Rust NAPI 引擎,边缘运行时使用 WASM)
  • pnpm 包管理器
  • 项目需支持 ES 模块,能使用 import 语法

安装与启动步骤

  1. 1安装 mdream 依赖

    在项目根目录执行安装,README 使用 pnpm,安装后即可 import 使用。

    pnpm add mdream
  2. 2运行基础转换验证

    调用 htmlToMarkdown 把 HTML 字符串转成 Markdown,输出以 # 开头的标题文本。

    node --input-type=module -e "import { htmlToMarkdown } from 'mdream'; console.log(htmlToMarkdown('<h1>Hello World</h1>'))"
  3. 3切换输出格式

    通过 format 选项输出纯文本 text 或清洗后的 html,默认输出 Markdown。

    node --input-type=module -e "import { htmlToMarkdown } from 'mdream'; console.log(htmlToMarkdown('<h1>Hello <strong>World</strong></h1>', { format: 'text' }))"
  4. 4流式转换示例

    边接收 HTML 边输出 Markdown,适合大页面;origin 与 minimal 为示例选项。

    cat > stream.mjs <<'EOF'
    import { streamHtmlToMarkdown } from 'mdream'
    
    const response = await fetch('https://en.wikipedia.org/wiki/Markdown')
    for await (const chunk of streamHtmlToMarkdown(response.body, {
      origin: 'https://en.wikipedia.org',
      minimal: true,
    })) {
      process.stdout.write(chunk)
    }
    EOF
    node stream.mjs
  5. 5浏览器免构建使用

    引入 CDN 上的 iife 脚本,脚本自带 WASM 并自动初始化,调用返回 Promise。

关键配置

配置项必填说明示例
format否指定输出格式:markdown、text 或 html,默认 Markdowntext
origin否流式转换时提供页面来源地址,用于解析相对链接https://en.wikipedia.org
minimal否精简输出,减少冗余标记,适合送入大模型true

如何确认成功

执行后控制台打印出「# Hello World」,说明转换库安装并运行正常。

常见问题

Q:没有 pnpm 怎么办?

A:README 中安装命令基于 pnpm,可先用 npm i -g pnpm 安装 pnpm,或在项目中使用同等包管理方式安装同名包。

Q:浏览器中为什么结果是 Promise?

A:从 mdream/browser 导入的 htmlToMarkdown 需 await 才能拿到字符串;CDN 的 iife 版本同理,返回 Promise。

Q:流式输出和一次性转换结果一致吗?

A:README 说明把流式输出的片段拼接后,结果与一次性转换一致。

Q:能直接输出纯文本吗?

A:可以,传入 format: 'text' 即可去掉 Markdown 标记,只保留文字内容。

注意事项

  • Node.js 环境使用 Rust NAPI 引擎,边缘运行时使用 WASM,两者调用方式一致。
  • README 仅提到存在 Docker 镜像但未给出具体命令,本教程不涉及镜像运行步骤。
  • 升级到 v2 需按 README 的迁移章节调整调用方式。
  • 转换前建议先用 format 与 minimal 选项控制输出体积,减少送入大模型的 token 消耗。

核心亮点

  • 支持流式转换,可边接收 HTML 边输出 Markdown,适合大页面和抓取管线
  • 针对 LLM 场景优化输出,减少导航、脚本等噪声,节省 token
  • TypeScript 实现,API 简洁,易嵌入 Node 服务和 RAG 预处理流程

不足之处

  • 项目较新、星标约千级,生态与长期维护稳定性待观察
  • 复杂页面(如重脚本渲染、异常嵌套标签)的转换保真度需实测验证

适用场景

  • 爬虫抓取网页后批量转 Markdown 入库
  • RAG 知识库构建前的网页正文清洗
  • 把在线文档或文章转成 Markdown 供 LLM 摘要与问答

替代项目

turndown、html-to-markdown、readability

上一篇:island

下一篇:没有了!

同类项目推荐

slide-deck-ai 开源

输入主题,AI 自动生成整套 PPT 幻灯片

Co-create PowerPoint slide decks with AI

★ 379 2026-08-09
llama-scan 开源

本地大模型把扫描 PDF 转成可编辑文本

Transcribe PDFs with local LLMs

★ 807 2026-10-24
gridcraft 开源

纯 Rust 写的 Excel,安全又轻快

GridCraft: an open-source, clean-room spreadsheet in pure Rust. By ArtCraft.

★ 7700 2026-10-21
slidev-ai 开源

输入主题,AI 自动生成 Slidev 幻灯片,省时省力

ai app for slidev

★ 284 2026-08-09
readmeX 开源

丢进代码库,自动生成中文 README 和可浏览 Wiki

An AI Powered README and Interactive Wiki Generator for Any Projects. AI驱动的README···

★ 672 2026-10-25
macshot 开源

原生截图录屏,自动打码+OCR翻译,免订阅

Feature-packed native macOS screenshot & recording tool: annotate, auto-redact PII, ···

★ 4261 2026-09-19
GithubStarsManager 开源

用大白话搜星标,AI 自动分类并追更新

AI-powered GitHub stars manager with semantic search, auto-categorization, and relea···

★ 3899 2026-10-11
jkinco-listen-open 开源

本地跑完录音转纪要,不联网不传数据

MeetDo — open-source Meeting-to-Action AI by 筑听 · JKinco Listen. Self-hosted liv···

★ 309 2026-09-24