获取数据集基本信息

GET 请求

追加单条数据

运行爬虫 Returns: 爬取结果

创建新页面

关闭浏览器

关闭浏览器

发送 GET 请求（带重试） Args: url: 请求 URL **kwargs: 传递给 httpx 的其他参数 Returns: httpx.Response 响应对象

POST 请求

保存 Cookie

获取令牌 Args: tokens: 需要的令牌数 Returns: 实际等待的时间（秒）

转换为字典格式

更新 Cookie

关闭浏览器

检查是否已登录 Args: cookies: Cookie 字典 Returns: 是否已登录

获取随机 User-Agent（桌面端） Returns: 随机的 User-Agent 字符串

启动浏览器

添加账号

加载 Cookie

检查是否需要重置（跨天）

获取当前 Cookie（不验证）

转换为 httpx 可用的字典格式

生成代理唯一标识

清理资源

创建状态码检测器 Args: check_url: 检测 URL success_codes: 成功的状态码列表，默认 [200] timeout: 超时时间 Example

需要更新、写入等操作的 excute 执行语句 :param sql: :param args: :return:

计算 SimHash（用于大规模去重） SimHash 是一种局部敏感哈希，相似文本的哈希值相近 Args: text: 文本内容 bits: 哈希位数 Returns:

获取有效的 Cookie（自动检测和刷新） Returns: 简单字典格式的 Cookie，如 {"name": "value", ...}

标准化大小写 Args: text: 输入文本 case: 大小写类型 (lower/upper/title/capitalize) Returns: 标准化后的文本

启动爬虫 完整流程： 1. 启动浏览器 2. 执行登录 3. 初始化 API 客户端 4. 根据配置执行爬取 5. 关闭浏览器 Returns:

停止代理池

创建 WordCloud 对象

从 API 获取 WBI 密钥（备用方案）

刷新 Cookie

发送 HTTP 请求 Args: method: 请求方法（GET/POST） url: 请求 URL params: URL 参数 data: POST 数据

构建 API 请求头 Args: referer: Referer 地址（API 请求通常需要） origin: Origin 地址（POST 请求通常需要） content_type: Co

是否可以使用打码服务

创建 JSON 响应检测器 检测响应 JSON 中是否包含指定字段 Args: check_url: API 地址 success_field: 成功时 JSON 中存在的字段

获取页面/API 数据 Args: url: 目标 URL referer: Referer 地址 is_api: 是否是 API 请求 Returns:

生成完整分析报告 Args: font_path: 字体路径（词云使用） title: 报告标题 Returns: 报告文件路径

获取一个可用的 Cookie（负载均衡）

获取移动端 User-Agent

获取输出路径

获取视频详情 aid 和 bvid 至少提供一个。 Args: aid: 视频 aid bvid: 视频 BV 号 Returns: BilibiliVid

计算汉明距离 Args: hash1: 哈希值1 hash2: 哈希值2 Returns: 汉明距离（不同位的数量）

从 CSV 文件加载数据

从文件加载 Cookie Returns: 是否加载成功

执行登录 Returns: 登录结果

导航到登录页面

标准化空白字符 - 将制表符、回车等转为空格 - 合并多个空格 - 合并多个换行 - 去除首尾空白 Args: text: 输入文本 Returns:

解析数字字符串 支持： - 逗号分隔：1,234,567 - 中文单位：1.5万、3.2亿 - 英文单位：1.5K、3.2M Args: text: 数字字符串

归还代理并报告使用结果 Args: proxy: 代理信息 success: 使用是否成功

计算两个字符串的相似度 相似度 = 1 - (编辑距离 / 最大长度) Args: s1: 字符串1 s2: 字符串2 Returns: 相似度 (0.0

启动浏览器

转换为 httpx 可用的字典格式

转换为简单字典格式（name: value）

统计词频 Args: texts: 文本列表 top_n: 返回 Top N Returns: (词语, 频次) 列表

解析 Cookie 字符串 Args: cookie_str: Cookie 字符串，格式如 "name1=value1; name2=value2" Returns: List[Dict]: Pl

随机延迟，避免请求过快

刷新代理

获取上下文

创建交互式柱状图

构建页面请求头 Args: referer: Referer 地址 host: Host 地址 extra_headers: 额外的请求头 Returns:

检测单个代理是否可用 Args: proxy: 代理信息 Returns: 代理是否可用

批量检测代理 Args: proxies: 代理列表 concurrency: 并发数 Returns: 可用的代理列表

检查 Cookie 是否过期 Args: cookies: Playwright 格式的 Cookie 列表 Returns: (是否全部有效, 已过期的 Cookie 列表)

检查登录状态 通过检查 Cookie 中是否包含关键字段来判断是否已登录。 关键字段：SESSDATA、DedeUserID Returns: bool: 是否已登录

批量检测代理列表 Args: proxy_list: 代理字符串列表 Returns: 可用的代理列表

使用 BeautifulSoup 清洗 HTML（推荐） Args: html: HTML 文本 Returns: 纯文本

关闭客户端

关闭所有上下文

创建内容检测器 检测响应内容是否包含指定文本 Args: check_url: 检测 URL success_text: 登录成功时页面包含的文本 timeout: 超时时间

创建 Cookie 登录

创建带反检测的浏览器实例 Args: playwright: playwright 实例 headless: 是否无头模式 Returns: 配置好的浏览器实例

创建带反检测的浏览器上下文 Args: browser: 浏览器实例 stealth_js: stealth 脚本内容 Returns: 配置好的上下文

确保已登录 优先使用已保存的 Cookie，如果无效则使用指定方式登录 Args: login_config: 登录配置 force_login: 是否强制重新登录 Returns

从 wbi_img_urls 中提取 img_key 和 sub_key Args: img_url: img_url 完整地址 sub_url: sub_url 完整地址 Returns: tuple: (img_key

基础重试示例

从 API 响应数据创建 BilibiliVideo 实例 Args: data: API 返回的视频详情数据 source_keyword: 搜索来源关键词 Returns:

从浏览器复制的 Cookie 字符串创建 Args: cookie_string: 格式 "SESSDATA=xxx; DedeUserID=xxx; bili_jct=xxx" Returns:

从搜索结果数据创建 BilibiliVideo 实例 搜索结果的数据结构与视频详情略有不同，需要单独处理。 Args: data: API 返回的搜索结果数据 source_keyword: 搜索关

完整预处理流程 Args: image_bytes: 原始图片 threshold: 二值化阈值 Returns: 处理后的图片

从词频字典生成词云 Args: frequencies: {词语: 频次} 字典 output_path: 输出路径 Returns: 输出文件路径

生成分析报告（便捷函数） Args: videos: 视频数据列表 output_dir: 输出目录 font_path: 字体路径 Returns: 报告文件路径

获取 Cookie

获取 Cookie 过期时间摘要 Args: cookies: Cookie 列表 Returns: 摘要信息字典

获取一个可用代理 使用加权随机选择，评分高的代理被选中概率更大

生成混淆后的 salt 算法： 1. 将 img_key 和 sub_key 拼接 2. 按照映射表重新排列字符 3. 取前 32 位作为 salt Returns: str

获取统计信息

获取统计信息 Returns: 包含各种统计指标的字典

初始化上下文池

输入验证码

输入手机号

检查核心 Cookie 是否存在

从 JSON 文件加载数据