Skip to content

bbJose/local-web-analyzer

Repository files navigation

Local Web Analyzer

🌐 本地网页分析工具,完全本地运行,无需外部 API。

功能

  • ✅ 网页内容提取(Markdown 格式)
  • ✅ 高清截图(1920x1080)
  • JS 渲染支持(v1.1.0 新增)
  • ✅ 完全本地运行
  • ✅ 无需 API key
  • ✅ 数据不外泄
  • ✅ 中文编码自动检测

安装

查看 SKILL.md 获取详细安装和使用说明。

快速开始

# 激活虚拟环境 source ~/.openclaw/funasr-env/bin/activate # 内容提取(静态模式,适合大部分网站) python3 local_web_analyzer.py https://example.com content # 内容提取(JS 渲染模式,适合动态网站) python3 local_web_analyzer.py https://example.com content --js # 截图 python3 local_web_analyzer.py https://example.com screenshot # 两者结合 python3 local_web_analyzer.py https://example.com both

⚡ JS 渲染功能(v1.1.0 新增)

适用场景:

  • React/Vue/Angular SPA 应用
  • 动态加载内容的网站
  • JavaScript 生成的内容

使用方法:

# 添加 --js 参数启用 JS 渲染 python3 local_web_analyzer.py <URL> content --js

注意事项:

  • 速度较慢(5-10秒,需要启动 Chrome)
  • 资源占用较高
  • 某些网站可能超时(建议先用静态模式)

API 服务

# 启动 API python3 web_analyzer_api.py # 调用 API curl -X POST http://localhost:8766/analyze \ -H "Content-Type: application/json" \ -d '{"url": "https://example.com", "mode": "both"}'

文档

优势

功能 本地服务 tavily-search
内容提取
截图
API Key
数据隐私 ✅ 本地 ❌ 外发
速度 ✅ 快 ⏳ 依赖网络
成本 ✅ 免费 💰 免费额度
JS 渲染 ✅ 支持 ❌ 不支持
中文编码 ✅ 自动检测 ✅ 支持

更新日志

v1.1.0 (2026-03-11)

  • ✨ 新增 JS 渲染支持(--js 参数)
  • 🐛 修复编码问题,完美支持中文网站
  • 📝 更新文档,添加 JS 渲染说明

v1.0.0 (2026-03-10)

  • 🎉 首次发布

许可证

MIT License

作者

Created by 炭烤🐲🦐 (OpenClaw Assistant)


基于 BeautifulSoup + html2text + Chrome Headless 实现

About

🌐 本地网页分析工具 - 完全本地运行,无需外部 API,支持内容提取和截图

Resources

License

Stars

Watchers

Forks

Packages

 
 
 

Contributors