MCPcopy Index your code
hub / github.com/kangvcar/InfoSpider

github.com/kangvcar/InfoSpider @v1.0

repository ↗ · DeepWiki ↗ · release v1.0 ↗ · + Follow
251 symbols 876 edges 26 files 4 documented · 2%
README

UW2eVx.png

<a>
    <img src="https://img.shields.io/badge/python-v3-blue" alt="UW2eVx.png" />
</a>
<a>
    <img src="https://img.shields.io/badge/platform-Windows-blue" alt="UW2eVx.png" />
</a>
<a>
    <img src="https://img.shields.io/website?up_message=%E4%BD%BF%E7%94%A8%E6%96%87%E6%A1%A3&url=https%3A%2F%2Finfospider.vercel.app%2F" alt="UW2eVx.png" />
</a>

一个神奇的工具箱,拿回你的个人信息。

使用说明文档 | 视频演示 ️


🕷About

INFO-SPIDER 是一个集众多数据源于一身的爬虫工具箱,旨在安全快捷的帮助用户拿回自己的数据,工具代码开源,流程透明。并提供数据分析功能,基于用户数据生成图表文件,使得用户更直观、深入了解自己的信息。 目前支持数据源包括GitHub、QQ邮箱、网易邮箱、阿里邮箱、新浪邮箱、Hotmail邮箱、Outlook邮箱、京东、淘宝、支付宝、中国移动、中国联通、中国电信、知乎、哔哩哔哩、网易云音乐、QQ好友、QQ群、生成朋友圈相册、浏览器浏览历史、12306、博客园、CSDN博客、开源中国博客、简书。

详细使用说明参照使用说明文档视频教程

🎨Screenshot

screenshot.png

🚀QuickStart

依赖安装

  1. 安装python3和Chrome浏览器

  2. 安装与Chrome浏览器相同版本的驱动

  3. 安装依赖库 pip install -r requirements.txt

工具运行

  1. 进入 tools 目录

  2. 运行 python3 main.py

  3. 在打开的窗口点击数据源按钮, 根据提示选择数据保存路径

  4. 弹出的浏览器输入用户密码后会自动开始爬取数据, 爬取完成浏览器会自动关闭.

  5. 在对应的目录下可以查看下载下来的数据(xxx.json), 数据分析图表(xxx.html)

🌈数据源

  • [x] GitHub
  • [x] QQ邮箱
  • [x] 网易邮箱
  • [x] 阿里邮箱
  • [x] 新浪邮箱
  • [x] Hotmail邮箱
  • [x] Outlook邮箱
  • [x] 京东
  • [x] 淘宝
  • [x] 支付宝
  • [x] 中国移动
  • [x] 中国联通
  • [x] 中国电信
  • [x] 知乎
  • [x] 哔哩哔哩
  • [x] 网易云音乐
  • [x] QQ好友
  • [x] QQ群
  • [x] 生成朋友圈相册
  • [x] 浏览器浏览历史
  • [x] 12306
  • [x] 博客园
  • [x] CSDN博客
  • [x] 开源中国博客
  • [x] 简书

⚖️数据分析

  • [x] 博客园
  • [x] CSDN博客
  • [x] 开源中国博客
  • [x] 简书

📑计划

  • 对爬取的个人数据进行统计分析
  • 融合机器学习技术、自然语言处理技术等对数据深入分析
  • 把分析结果绘制图表直观展示
  • 添加更多数据源...

😇Visitors

📌Changelog

点击展开 Changelog

  • 2020年7月10日

    1. 更新GUI布局
    2. 添加GitHub、QQ好友、QQ群数据源
  • 2020年7月12日

    1. 修复QQ邮箱、网易邮箱、阿里邮箱、新浪邮箱、Hotmail、Outlook数据源
    2. 添加生成朋友圈相册功能
  • 2020年7月14日

    1. 修复京东、淘宝、支付宝、12306数据源
    2. 添加Chrome浏览记录功能
  • 2020年7月17日

    1. 修复中国移动、中国联通数据源
    2. 添加知乎、哔哩哔哩、网易云音乐数据源
  • 2020年7月19日

    1. 添加博客园、CSDN、开源中国、简书数据源
    2. 编写使用说明文档
    3. 录制使用视频教程
  • 2020年7月30日

    1. 添加博客园数据分析功能
    2. 使用pyechart绘制图表并生成html文件保存在数据目录下

License

GPL-3.0

Core symbols most depended-on inside this repo

updateStatus
called by 93
tools/main.py
Automation
called by 17
tools/main.py
write_json
called by 14
Spiders/JdSpider/jd_more_info.py
save_json
called by 8
Spiders/A12306/main12306.py
info_write_to_json
called by 7
Spiders/zhihu/main.py
data_wirte_to_json
called by 7
Spiders/cloudmusic/main.py
write_json
called by 5
Spiders/mail/main.py
close
called by 5
Spiders/mail/main.py

Shape

Method 188
Class 57
Function 6

Languages

Python100%

Modules by API surface

tools/main.py70 symbols
Spiders/JdSpider/jd_more_info.py24 symbols
Spiders/mail/main.py16 symbols
Spiders/taobao/spider.py13 symbols
Spiders/cloudmusic/main.py13 symbols
Spiders/A12306/main12306.py11 symbols
Spiders/zhihu/main.py10 symbols
Spiders/cnblog/main.py9 symbols
Spiders/telephone/main.py8 symbols
Spiders/github/main.py8 symbols
Spiders/bilibili/main.py7 symbols
tests/ctrip/main.py6 symbols

Dependencies from manifests, versioned

Pillow7.2.0 · 1×
XlsxWriter1.2.9 · 1×
beautifulsoup44.9.1 · 1×
lxml4.3.3 · 1×
matplotlib3.2.0 · 1×
nltk3.5 · 1×
numpy1.18.1 · 1×
openpyxl3.0.4 · 1×
pandas1.0.1 · 1×
pyecharts1.7.1 · 1×
pyquery1.4.0 · 1×
python_dateutil2.8.1 · 1×

For agents

$ claude mcp add InfoSpider \
  -- python -m otcore.mcp_server <graph>

⬇ download graph artifact