CyberScraper-2077

环境要求

• Python 3.10 或更高版本
• 可用的 pip 与 virtualenv（或 venv）
• 至少一个 LLM 后端密钥：OpenAI 或 Google Gemini（Ollama 可选）
• 如需 Docker 部署，需本机已安装 Docker
• 首次运行需执行 playwright install 安装浏览器内核

安装与启动步骤

1. 1克隆仓库

   从 GitHub 拉取项目源码并进入项目目录。

   git clone https://github.com/itsOwen/CyberScraper-2077.git
   cd CyberScraper-2077

   复制

2. 2创建虚拟环境

   用 virtualenv 创建 venv 并激活，避免污染系统 Python 环境。

   virtualenv venv
   source venv/bin/activate

   复制

3. 3安装依赖包

   按 requirements.txt 安装项目所需的全部 Python 依赖。

   pip install -r requirements.txt

   复制

4. 4安装 Playwright

   安装 Playwright 浏览器内核，用于抓取 JavaScript 渲染页面。

   playwright install

   复制

5. 5配置 API 密钥

   在 Linux/Mac 终端导出 OpenAI 与 Gemini 密钥，替换成自己的真实 key。

   export OPENAI_API_KEY="sk-xxxxxxxx"
   export GOOGLE_API_KEY="your-api-key-here"

   复制

6. 6启动应用

   激活虚拟环境后运行 Streamlit 主程序，启动本地 Web 界面。

   source venv/bin/activate
   streamlit run main.py

   复制

7. 7Docker 方式部署

   可选方案：构建镜像并运行容器，通过环境变量传入 API 密钥。

   docker build -t cyberscraper-2077 .
   docker run -p 8501:8501 -e OPENAI_API_KEY="sk-xxxxxxxx" -e GOOGLE_API_KEY="your-api-key-here" cyberscraper-2077

   复制

关键配置

如何确认成功

浏览器打开 http://localhost:8501，能看到 Streamlit 的赛博朋克界面即启动成功；Docker 方式同理。

常见问题

注意事项

• 项目要求 Python 3.10 或更高版本。
• 首次安装必须执行 playwright install，否则无法抓取 JS 渲染页面。
• Windows 下激活虚拟环境的命令不同，README 仅给出 source venv/bin/activate。
• 使用 Tor 时 Docker 需加 --network="host" 并开放对应端口。