* *@服务端用 * *PhoSocketAccept()为幽灵蛛socket同意连接函数 *ln为一个监听句柄 *输出类型为net.Conn,一个握手连接，下一步可以进行接收，发送 */

* *@共用 * *PhoSocketSendData()为幽灵蛛socket数据发送函数,但是不关闭 *conn为握手连接，sendData为要发送的数据 *通过conn给client发送Data */

* *@服务端用 * *PhoSocketSendDataClose()为幽灵蛛socket数据发送函数，并且关闭连接 *conn为握手连接，sendData为要发送的数据 *通过conn给client发送Data */

* *@服务端用 * *PhoSocketSendDataClose()为幽灵蛛socket数据发送函数，并且关闭连接 *conn为握手连接，sendData为要发送的数据 *通过conn给client发送Data */

* *@客户端用 * *PhoSoketDial()为幽灵蛛socket拨号函数，请求服务端 *PhoSocketServer为预定义常量：server:port *输出类型为net.Conn,一个握手连接，下一步可以进行接收，发送 */

建立连接 func 接受 func 发送 * *@服务端用 * *PhoSoketLisent()为幽灵蛛socket监听函数 *PhoSocketServer为预定义常量：server:port *输出类型为net.Listener,一个监听句柄 */

core processer

返回报告

Save writes config content to a config file.

SetHeader save the cookies of http responce

SetHeader save the header of http responce

SetHtmlParser saves goquery object binded to target crawl result.

SetJson saves json result.

提交用户输入并开始运行

取出

判断调度中是否还有属于自己的资源运行

* // The acceptableCharset is test for whether Content-Type is UTF-8 or not func (self *HttpDownloader) acceptableCharset(contentTypes []string) bool

Configpath gets default config path like "WD/etc/main.conf".

choose http GET/method to download

choose a proxy server to excute http GET/method to download

************************ CSV 输出 ***************************/

GetCaller returns file name and line number at the third step of runtime.

************************ MongoDB 输出 ***************************/

The newFilelog returns initialized filelog object. The default file path is "WORKDIR/log/log.2011-01-01".

The newStrace returns initialized strace object.

统计数据总量

常用基础方法

接收并发送，不关闭

接收并发送，不关闭

接收并发送，完关闭

point to a json file * xxx.json { "User-Agent":"curl/7.19.3 (i386-pc-win32) libcurl/7.19.3 OpenSSL/1.0.0d", "Referer":"http://weixin.sogou.com/gzh?o

@host http://localhost:8765/

采集非重复样本并返回对比结果，重复为true

对比是否已存在，不存在则采样

发送控制通知

对比Url的fingerprint，返回是否有重复

Errormsg show the download error message.

具体的获取cookie的方法，return出一个[]*http.cookie 函数分为两步获取cookie，当有302跳转执行IsRedirectFunc 没有302跳转执行NoRedirectFunc,都是返回[]*http.cookie

GetHeader returns the cookies of http responce

GetHeader returns the header of http responce

SetJson returns json result.

获取任务规则采集语义字段

GetRequest returns request oject of self page.

The GetWDPath gets the work directory path.

The IsDirExists judges path is directory or not.

The IsFileExists judges path is file or not.

The IsNum judges string is number or not.

JsonpToJson modify jsonp string to json string Example: forbar({a:"1",b:2}) to {"a":"1","b":2}

LogError logs error info.