MCPcopy Create free account

hub / github.com/NanmiCoder/CrawlerTutorial / functions

Functions724 in github.com/NanmiCoder/CrawlerTutorial

⨍ Functions 724◇ Types & classes 149
↓ 1 callersFunctiondemo
演示 pandas 数据分析功能
源代码/爬虫进阶/10_数据分析与可视化/pandas_analysis.py:304
↓ 1 callersFunctiondemo
演示 UA 轮换器的使用
源代码/爬虫进阶/02_反爬虫对抗基础_请求伪装/ua_rotator.py:152
↓ 1 callersFunctiondemo
演示反检测爬虫
源代码/爬虫进阶/02_反爬虫对抗基础_请求伪装/anti_detection_crawler.py:195
↓ 1 callersFunctiondemo
演示请求头构建器的使用
源代码/爬虫进阶/02_反爬虫对抗基础_请求伪装/headers_builder.py:178
↓ 1 callersFunctiondemo_advanced_retry
演示高级重试
源代码/爬虫进阶/01_工程化爬虫开发规范/exception_demo.py:242
↓ 1 callersFunctiondemo_auto_waiting
演示自动等待
源代码/爬虫进阶/04_Playwright浏览器自动化入门/wait_strategies.py:9
↓ 1 callersFunctiondemo_basic_retry
演示基础重试
源代码/爬虫进阶/01_工程化爬虫开发规范/exception_demo.py:228
↓ 1 callersFunctiondemo_basic_session
演示基本的会话管理
源代码/爬虫进阶/06_登录认证_Cookie与Session管理/session_demo.py:97
↓ 1 callersFunctiondemo_bilibili_cookie
演示 B站 Cookie 管理
源代码/爬虫进阶/06_登录认证_Cookie与Session管理/bilibili_cookie.py:362
↓ 1 callersFunctiondemo_bilibili_qrcode_login
演示B站扫码登录
源代码/爬虫进阶/07_登录认证_扫码与短信登录实现/bilibili_qrcode_login.py:371
↓ 1 callersFunctiondemo_cdp_cookies
演示 CDP Cookie 操作
源代码/爬虫进阶/05_Playwright进阶_反检测与性能优化/cdp_mode.py:159
↓ 1 callersFunctiondemo_cdp_dom
演示 CDP DOM 操作
源代码/爬虫进阶/05_Playwright进阶_反检测与性能优化/cdp_mode.py:119
↓ 1 callersFunctiondemo_cdp_screenshot
演示 CDP 截图
源代码/爬虫进阶/05_Playwright进阶_反检测与性能优化/cdp_mode.py:87
↓ 1 callersFunctiondemo_cdp_session
演示 CDP Session 基本用法
源代码/爬虫进阶/05_Playwright进阶_反检测与性能优化/cdp_mode.py:10
↓ 1 callersFunctiondemo_complete_workflow
演示完整的工作流程
源代码/爬虫进阶/06_登录认证_Cookie与Session管理/session_demo.py:388
↓ 1 callersFunctiondemo_composite
演示组合限速器
源代码/爬虫进阶/02_反爬虫对抗基础_请求伪装/rate_limiter.py:338
↓ 1 callersFunctiondemo_concurrency
演示并发限制器
源代码/爬虫进阶/02_反爬虫对抗基础_请求伪装/rate_limiter.py:319
↓ 1 callersFunctiondemo_connect_existing
演示连接已有浏览器（需要手动启动 Chrome）
源代码/爬虫进阶/05_Playwright进阶_反检测与性能优化/cdp_mode.py:199
↓ 1 callersFunctiondemo_content_extraction
演示内容提取
源代码/爬虫进阶/04_Playwright浏览器自动化入门/basic_operations.py:111
↓ 1 callersFunctiondemo_context_pool
演示上下文池
源代码/爬虫进阶/05_Playwright进阶_反检测与性能优化/performance_optimization.py:236
↓ 1 callersFunctiondemo_cookie_persistence
演示 Cookie 持久化
源代码/爬虫进阶/06_登录认证_Cookie与Session管理/session_demo.py:118
↓ 1 callersFunctiondemo_cookie_rotation
演示多账号 Cookie 轮换
源代码/爬虫进阶/06_登录认证_Cookie与Session管理/session_demo.py:162
↓ 1 callersFunctiondemo_custom_stealth
演示自定义 stealth 配置
源代码/爬虫进阶/05_Playwright进阶_反检测与性能优化/stealth_demo.py:209
↓ 1 callersFunctiondemo_exception_handling
演示异常处理
源代码/爬虫进阶/01_工程化爬虫开发规范/exception_demo.py:256
↓ 1 callersFunctiondemo_expect_patterns
演示 expect 模式（等待请求/响应）
源代码/爬虫进阶/04_Playwright浏览器自动化入门/wait_strategies.py:167
↓ 1 callersFunctiondemo_expiry_monitoring
演示 Cookie 过期监控
源代码/爬虫进阶/06_登录认证_Cookie与Session管理/session_demo.py:245
↓ 1 callersFunctiondemo_interactions
演示交互操作
源代码/爬虫进阶/04_Playwright浏览器自动化入门/basic_operations.py:76
↓ 1 callersFunctiondemo_locators
演示元素定位
源代码/爬虫进阶/04_Playwright浏览器自动化入门/basic_operations.py:38
↓ 1 callersFunctiondemo_login_detection
演示登录状态检测
源代码/爬虫进阶/06_登录认证_Cookie与Session管理/session_demo.py:204
↓ 1 callersFunctiondemo_login_factory
登录工厂演示
源代码/爬虫进阶/07_登录认证_扫码与短信登录实现/login_factory.py:417
↓ 1 callersFunctiondemo_mock_receiver
模拟接码平台演示
源代码/爬虫进阶/07_登录认证_扫码与短信登录实现/sms_login.py:332
↓ 1 callersFunctiondemo_multi_url_test
演示多URL代理测试 - 综合验证代理功能
源代码/爬虫进阶/03_代理IP的使用与管理/proxy_demo.py:172
↓ 1 callersFunctiondemo_navigation
演示页面导航
源代码/爬虫进阶/04_Playwright浏览器自动化入门/basic_operations.py:9
↓ 1 callersFunctiondemo_network_emulation
演示网络条件模拟
源代码/爬虫进阶/05_Playwright进阶_反检测与性能优化/cdp_mode.py:38
↓ 1 callersFunctiondemo_optimized_crawler
演示优化爬虫
源代码/爬虫进阶/05_Playwright进阶_反检测与性能优化/performance_optimization.py:264
↓ 1 callersFunctiondemo_proxied_crawler
演示集成代理池的爬虫
源代码/爬虫进阶/03_代理IP的使用与管理/proxy_demo.py:137
↓ 1 callersFunctiondemo_proxy_pool
演示代理池基本功能
源代码/爬虫进阶/03_代理IP的使用与管理/proxy_demo.py:100
↓ 1 callersFunctiondemo_qrcode_login
扫码登录演示
源代码/爬虫进阶/07_登录认证_扫码与短信登录实现/qrcode_login.py:260
↓ 1 callersFunctiondemo_random_delay
演示随机延迟限速器
源代码/爬虫进阶/02_反爬虫对抗基础_请求伪装/rate_limiter.py:305
↓ 1 callersFunctiondemo_real_login
演示真实网站登录流程 - quotes.toscrape.com
源代码/爬虫进阶/06_登录认证_Cookie与Session管理/session_demo.py:280
↓ 1 callersFunctiondemo_resource_blocking
演示资源拦截效果
源代码/爬虫进阶/05_Playwright进阶_反检测与性能优化/performance_optimization.py:199
↓ 1 callersFunctiondemo_screenshot
演示截图功能
源代码/爬虫进阶/04_Playwright浏览器自动化入门/basic_operations.py:194
↓ 1 callersFunctiondemo_sms_login
短信登录演示
源代码/爬虫进阶/07_登录认证_扫码与短信登录实现/sms_login.py:292
↓ 1 callersFunctiondemo_timeout_handling
演示超时处理
源代码/爬虫进阶/04_Playwright浏览器自动化入门/wait_strategies.py:202
↓ 1 callersFunctiondemo_token_bucket
演示令牌桶限速器
源代码/爬虫进阶/02_反爬虫对抗基础_请求伪装/rate_limiter.py:289
↓ 1 callersFunctiondemo_verify_existing_cookies
演示验证已保存的Cookie
源代码/爬虫进阶/07_登录认证_扫码与短信登录实现/bilibili_qrcode_login.py:426
↓ 1 callersFunctiondemo_wait_for_function
演示 wait_for_function
源代码/爬虫进阶/04_Playwright浏览器自动化入门/wait_strategies.py:135
↓ 1 callersFunctiondemo_wait_for_load_state
演示 wait_for_load_state
源代码/爬虫进阶/04_Playwright浏览器自动化入门/wait_strategies.py:75
↓ 1 callersFunctiondemo_wait_for_selector
演示 wait_for_selector
源代码/爬虫进阶/04_Playwright浏览器自动化入门/wait_strategies.py:42
↓ 1 callersFunctiondemo_wait_for_url
演示 wait_for_url
源代码/爬虫进阶/04_Playwright浏览器自动化入门/wait_strategies.py:106
↓ 1 callersFunctiondemo_waiting
演示等待策略
源代码/爬虫进阶/04_Playwright浏览器自动化入门/basic_operations.py:158
↓ 1 callersFunctiondemo_with_stealth
演示使用 stealth 的情况
源代码/爬虫进阶/05_Playwright进阶_反检测与性能优化/stealth_demo.py:193
↓ 1 callersFunctiondemo_without_stealth
演示没有 stealth 的情况
源代码/爬虫进阶/05_Playwright进阶_反检测与性能优化/stealth_demo.py:168
↓ 1 callersMethoddescribe
获取描述性统计
源代码/爬虫进阶/10_数据分析与可视化/pandas_analysis.py:46
↓ 1 callersMethoddetect_by_contour
通过轮廓检测找缺口位置 某些滑块验证码的缺口有明显的轮廓 Args: background_bytes: 背景图片 min_area: 最小轮廓面积 Returns:
源代码/爬虫进阶/08_验证码识别与处理/slider_captcha.py:72
↓ 1 callersMethoddetect_by_template_match
通过模板匹配找缺口位置 Args: background_bytes: 背景图片字节 slider_bytes: 滑块图片字节 Returns: 缺口 x 坐标
源代码/爬虫进阶/08_验证码识别与处理/slider_captcha.py:27
↓ 1 callersMethoddetect_encoding
检测字节数据的编码 Args: data: 字节数据 Returns: 检测到的编码名称
源代码/爬虫进阶/09_数据清洗与预处理/text_cleaner.py:278
↓ 1 callersFunctiondisplay_qrcode_image_in_terminal
将图片二维码转换为终端可显示的 ASCII 艺术 需要安装: pip install pillow
源代码/爬虫进阶/07_登录认证_扫码与短信登录实现/qrcode_login.py:45
↓ 1 callersMethoddistribution_stats
计算分布统计量
源代码/爬虫进阶/10_数据分析与可视化/pandas_analysis.py:288
↓ 1 callersMethodenhance_contrast
增强对比度 Args: image_bytes: 图片字节 factor: 对比度因子，>1 增强，<1 降低 Returns: 处理后的图片字节
源代码/爬虫进阶/08_验证码识别与处理/ocr_captcha.py:87
↓ 1 callersFunctionerror_logging
错误日志处理
源代码/爬虫进阶/01_工程化爬虫开发规范/logger_demo.py:70
↓ 1 callersMethodfetch
使用代理获取页面 Args: url: 目标 URL Returns: 页面内容或 None
源代码/爬虫进阶/03_代理IP的使用与管理/proxy_demo.py:55
↓ 1 callersMethodfetch
获取代理列表 Returns: 代理信息列表
源代码/爬虫进阶/03_代理IP的使用与管理/proxy_pool/base.py:102
↓ 1 callersMethodfetch
获取单个页面
源代码/爬虫进阶/05_Playwright进阶_反检测与性能优化/performance_optimization.py:155
↓ 1 callersMethodfetch_batch
批量获取页面
源代码/爬虫进阶/05_Playwright进阶_反检测与性能优化/performance_optimization.py:193
↓ 1 callersMethodfetch_batch
批量获取数据 Args: urls: URL 列表 referer: Referer 地址 Returns: 结果列表
源代码/爬虫进阶/02_反爬虫对抗基础_请求伪装/anti_detection_crawler.py:176
↓ 1 callersFunctionfetch_bbs_note_detail
获取帖子详情页数据 :param note_content: :return:
源代码/爬虫入门/08_爬虫入门实战1_静态网页数据提取/002_源码实现_同步版本.py:101
↓ 1 callersFunctionfetch_bbs_note_detail
获取帖子详情页数据 :param note_content: :return:
源代码/爬虫入门/08_爬虫入门实战1_静态网页数据提取/003_源码实现_异步版本.py:83
↓ 1 callersFunctionfetch_bbs_note_list
获取前N页的帖子列表 :return:
源代码/爬虫入门/08_爬虫入门实战1_静态网页数据提取/002_源码实现_同步版本.py:70
↓ 1 callersFunctionfetch_bbs_note_list
获取前N页的帖子列表 :param previous_number: :return:
源代码/爬虫入门/08_爬虫入门实战1_静态网页数据提取/003_源码实现_异步版本.py:57
↓ 1 callersFunctionfetch_currency_data_list
通过最大币种数量计算爬取次数，解析数据存入数据容器 :param max_total_count: :return:
源代码/爬虫入门/10_爬虫入门实战3_数据存储实现/main.py:38
↓ 1 callersFunctionfetch_currency_data_list
Fetch currency data using multiprocessing. :param max_total_count: Maximum total count of currencies. :return: List of all SymbolContent.
源代码/爬虫入门/11_爬虫入门实战4_高效率的爬虫实现/run_crawler_multi_process.py:72
↓ 1 callersFunctionfetch_currency_data_list
Fetch currency data using asyncio. :param max_total_count: Maximum total count of currencies. :return: List of all SymbolContent.
源代码/爬虫入门/11_爬虫入门实战4_高效率的爬虫实现/run_crawler_multi_coroutine.py:74
↓ 1 callersFunctionfetch_currency_data_list
Fetch currency data using multithreading. :param max_total_count: Maximum total count of currencies. :return: List of all SymbolContent.
源代码/爬虫入门/11_爬虫入门实战4_高效率的爬虫实现/run_crawler_multi_thread.py:72
↓ 1 callersFunctionfetch_currency_data_list
通过最大币种数量计算爬取次数，解析数据存入数据容器 :param max_total_count: :return:
源代码/爬虫入门/09_爬虫入门实战2_动态数据提取/002_源码实现_同步版本.py:36
↓ 1 callersFunctionfetch_currency_data_list
通过最大币种数量计算爬取次数，解析数据存入数据容器 :param max_total_count: :return:
源代码/爬虫入门/09_爬虫入门实战2_动态数据提取/003_源码实现_异步版本.py:38
↓ 1 callersFunctionfetch_currency_data_single
Fetch currency data for a single page. :param page_start: Page start index. :return: List of SymbolContent for the page.
源代码/爬虫入门/11_爬虫入门实战4_高效率的爬虫实现/run_crawler_multi_coroutine.py:58
↓ 1 callersMethodfetch_proxies
从 API 获取代理 Args: count: 获取数量 Returns: 代理列表
源代码/爬虫进阶/11_进阶综合实战项目/proxy/pool.py:63
↓ 1 callersFunctionfetch_with_advanced_retry
高级重试示例 - 更多配置项
源代码/爬虫进阶/01_工程化爬虫开发规范/exception_demo.py:108
↓ 1 callersFunctionfile_logging
文件日志演示
源代码/爬虫进阶/01_工程化爬虫开发规范/logger_demo.py:47
↓ 1 callersMethodfilter
根据条件筛选数据 Args: condition: 查询条件，如 "views > 1000 and category == '技术'"
源代码/爬虫进阶/10_数据分析与可视化/pandas_analysis.py:104
↓ 1 callersMethodformat
格式化数字 Args: value: 数值 precision: 小数位数 use_units: 是否使用单位 lang: 语言 (zh/en) Re
源代码/爬虫进阶/09_数据清洗与预处理/data_normalizer.py:217
↓ 1 callersMethodfrom_json
从 JSON 加载
源代码/爬虫进阶/06_登录认证_Cookie与Session管理/cookie_manager.py:30
↓ 1 callersMethodfrom_playwright_cookies
从 Playwright 格式的 Cookie 创建 Args: cookies: Playwright context.cookies() 返回的列表 Returns: BilibiliCooki
源代码/爬虫进阶/06_登录认证_Cookie与Session管理/bilibili_cookie.py:54
↓ 1 callersFunctiongenerate_analysis_report
生成分析报告 Args: videos: 视频列表 Returns: str: 报告文件路径
源代码/爬虫进阶/11_进阶综合实战项目/main.py:115
↓ 1 callersMethodgenerate_qrcode
生成登录二维码 Returns: (qrcode_url, qrcode_image_bytes) 或 (qrcode_url, None) 如果无法生成图片
源代码/爬虫进阶/07_登录认证_扫码与短信登录实现/bilibili_qrcode_login.py:173
↓ 1 callersMethodgenerate_title_wordcloud
生成视频标题词云 Args: output_file: 输出文件名 font_path: 字体路径 Returns: 输出文件路径
源代码/爬虫进阶/11_进阶综合实战项目/analysis/report.py:331
↓ 1 callersMethodgenerate_wordcloud
生成词云 Args: text_field: 文本字段名 output_file: 输出文件名 font_path: 字体路径（中文需要指定） width: 图片宽度
源代码/爬虫进阶/11_进阶综合实战项目/analysis/report.py:134
↓ 1 callersMethodget_android
获取 Android User-Agent
源代码/爬虫进阶/02_反爬虫对抗基础_请求伪装/ua_rotator.py:146
↓ 1 callersMethodget_chrome
获取 Chrome User-Agent
源代码/爬虫进阶/02_反爬虫对抗基础_请求伪装/ua_rotator.py:103
↓ 1 callersMethodget_cookies
获取登录后的 Cookie
源代码/爬虫进阶/07_登录认证_扫码与短信登录实现/qrcode_login.py:224
↓ 1 callersMethodget_cookies_dict
获取字典格式的 Cookie
源代码/爬虫进阶/07_登录认证_扫码与短信登录实现/login_factory.py:405
↓ 1 callersMethodget_db
(self)
源代码/爬虫入门/10_爬虫入门实战3_数据存储实现/async_db.py:131
↓ 1 callersMethodget_earliest_expiry
获取最早过期的时间 Args: cookies: Cookie 列表 Returns: 最早过期的 datetime，如果没有过期时间则返回 None
源代码/爬虫进阶/06_登录认证_Cookie与Session管理/login_state_checker.py:241
↓ 1 callersMethodget_firefox
获取 Firefox User-Agent
源代码/爬虫进阶/02_反爬虫对抗基础_请求伪装/ua_rotator.py:115
↓ 1 callersMethodget_ios
获取 iOS User-Agent
源代码/爬虫进阶/02_反爬虫对抗基础_请求伪装/ua_rotator.py:141
↓ 1 callersFunctionget_max_total_count
获取所有币种总数量 :return:
源代码/爬虫入门/11_爬虫入门实战4_高效率的爬虫实现/run_crawler_multi_process.py:87
↓ 1 callersFunctionget_max_total_count
获取所有币种总数量 :return:
源代码/爬虫入门/11_爬虫入门实战4_高效率的爬虫实现/run_crawler_multi_coroutine.py:90
↓ 1 callersFunctionget_max_total_count
获取所有币种总数量 :return:
源代码/爬虫入门/11_爬虫入门实战4_高效率的爬虫实现/run_crawler_multi_thread.py:89
↓ 1 callersFunctionget_max_total_count
获取所有币种总数量 :return:
源代码/爬虫入门/09_爬虫入门实战2_动态数据提取/002_源码实现_同步版本.py:79
← previousnext →201–300 of 724, ranked by callers