github.com/datehoer/hotToday @main

今日热榜 (Today's Hot Rankings)

前后端项目 (Frontend and Backend Project)：

• 前端 (Frontend): vue2 + element-ui + iconpark图标库
• 后端 (Backend): python + fastapi
• Github: https://github.com/datehoer/hot-rank-web

爬虫项目 (Web Scraping Project)：主要利用requests进行请求，少数数据通过逆向参数获取。 mongodb -> postgresql

2025.3.3 修改： - 将mongo改为了postgresql

2026.8.7 修改： - 新增热榜数据清洗链路: 增量 ETL + embedding 向量化 (见下方「清洗链路 (ETL)」)

如果有什么问题/需求，欢迎提issue。 (Using requests for data collection, with some data obtained through parameter reverse engineering. If you have any questions/requirements, please feel free to create an issue.)

demo: ~~原网站~~ => https://www.hotday.uk/

目前采集平台有 (Current Collection Platforms): - B站热榜 (Bilibili Hot Rankings) - 抖音热搜 (Douyin Hot Search) - 澎湃新闻 (The Paper News) - 掘金热榜 (Juejin Hot Rankings) - 少数派热榜 (Sspai Hot Rankings) - 加密货币 (Cryptocurrency) - 贴吧热议 (Tieba Hot Topics) - 头条热榜 (Toutiao Hot Rankings) - 微博热搜 (Weibo Hot Search) - 知乎热榜 (Zhihu Hot Rankings) - 虎扑社区热帖 (Hupu Community Hot Posts) - 历史上的今天 (Today in History) - 华尔街见闻 (Wall Street News) - 微信阅读排行榜 (WeChat Reading Rankings) - 36氪 (36Kr) - 52破解热榜 (52pojie Hot Rankings) - AcFun热榜 (AcFun Hot Rankings) - 安全客安全快讯 (Anquanke Security News) - 百度热搜 (Baidu Hot Search) - 白鲸出海 (White Whale Overseas) - CSDN热榜 (CSDN Hot Rankings) - 电商报最新消息 (E-commerce News Latest) - 第一财经热榜 (Yicai Hot Rankings) - 懂车帝热搜榜 (Dongchedi Hot Search) - 豆瓣电影排行 (Douban Movie Rankings) - FreeBuf咨询 (FreeBuf News) - GitHub Trending - Google 热搜 (Google Hot Search) - 虎嗅热文 (Huxiu Hot Articles) - 3DM - IT之家热榜 (IT Home Hot Rankings) - 开眼 (Kaiyan) - 看雪热门 (Kanxue Hot Topics) - 宽带山热榜 (KDS Hot Rankings) - PMCAFF精选 (PMCAFF Featured) - 汽车之家热帖榜 (Autohome Hot Posts) - 起点榜单 (Qidian Rankings) - 水木社区热门话题 (SMTH Hot Topics) - 新浪热门 (Sina Hot Topics) - 新浪体育热门 (Sina Sports Hot Topics) - 新浪新闻热门 (Sina News Hot Topics) - 太平洋汽车热门 (PCauto Hot Topics) - TapTap热门 (TapTap Hot Topics) - 腾讯新闻热点榜 (Tencent News Hot Rankings) - 人人都是产品经理热门 (Woshipm Hot Topics) - ~~雪球热门 (Xueqiu Hot Topics)~~ - 易车热门 (Yiche Hot Topics) - 优设读报 (Uisdc News) - 游戏陀螺文章推荐 (Youxituoluo Game News，原游戏葡萄 youxiputao 官网已停更迁移) - 站酷榜单 (Zcool Rankings) - 纵横24小时畅销榜 (Zongheng 24h Bestseller Rankings) - hacknews - 要知 - 我的博客 - Linuxdo - v2ex - nodeseek - hostloc - wsl - ft - nytimes - bloomberg - yna - tagesschau - rt - nhk - newsau - mumsnet - foxnews - 5ch - dailymail - asahi - dzen

todo: - https://lobste.rs/ - https://arstechnica.com/ - https://www.macrumors.com/ - https://thenextweb.com/ - https://www.theguardian.com/

清洗链路 (ETL)

爬虫每小时整点运行 task.py，完成后自动执行增量清洗 + 向量化：

1. etl/incremental.py - 从 82 张源表按 checkpoint 水位线增量提取，upsert 到 hot_topic 汇总表
2. etl/embedding_backfill.py - 对 hot_topic 中 embedding IS NULL 的行调用 text-embedding-3-small 批量向量化（幂等断点续跑）
3. etl/backfill.py - 历史回填工具（手动运行）
4. etl/extractors.py - 各源表数据解析（title/url/hot_value）

新环境部署

# 1. 建表（幂等，可重复执行；需要 postgresql-16-pgvector 已安装）
psql -h <PG_HOST> -U admin -d hotday -f etl/schema.sql

# 2. 回填历史（可选，近 N 个月）
python etl/backfill.py --months 3

# 3. 增量+向量化由每小时 task.py 自动触发；也可手动跑一次
python etl/incremental.py
python etl/embedding_backfill.py --limit 8000

依赖：psycopg2、httpx、PostgreSQL 16 + pgvector 扩展。