CUrl 蜘蛛 优化 CURLOPT_HEADERFUNCTION

正搞一个小蜘蛛,用 CUrl 写的,遇到一个问题,分析完 url 后,有可能遇到 rar 或 jpg 等资源文件,也是要下载回来分析内容。 这样的做法太笨了,有很多缺点: 浪费带宽,文件也许很大 文件无用,下载回来也无法分析文件内容 怎么解决? 看浏览器会发送 Accept […]

黑墙虽高 哥照穿不误

SB 衙门不让我用 Google ! 哥去淘宝买 VPN!不过直接用 VPN 也有弊端,VPN 要拨号,连通后,本机所有的外网连接都走 VPN,那访问国内的一些网站速度就会慢不少。有没有办法,让我访问国内和谐网站的时候避免使用VPN,访问被屏蔽的网站的时候使用VPN? 答案是有!不过要设置几步,还算简单! 步骤: 本地运行 VMware,并安装 WindowsXP […]

类常量 字符串 对比 性能测试

写一个处理 url 的 PHP 工具类,需要用到很多字符串相关的函数,比如 preg_match、preg_replace、strpos 之类的。 正则表达式和查找的 needle 字符,都是用字符加引号直接作为参数传递给上述函数,比如: preg_match(“#^http[s]?://#i”, $strUrl); 用以匹配是否是 http 开头的 […]

xdebug xampp profiler 真是背到家了

我在Windows环境开发PHP,用XAMPP套件,今天追查程序,看源码搞不定,求助xdebug。 想来很简单,不就在php.ini开启几个选项么,奶奶的,折腾半天没搞定! 问题是:不管怎么设置,开启,就是不输出 profiler 文件! 在网上看人家配置xdebug咋就那么顺利呢,我咋就这么费劲呢? 用中文关键字搜不到,试试英文的吧。 然后找到这个: http://www.apachefriends.org/f/viewtopic.php?f=16&t=37137 这个天杀的 Wiedmann 估计是 ApacheFriends 的开发人员,把跟我一样可怜的 th1alb […]