PHP定时任务全量同步开发方案

2015/01/18 | 星期日 分类:PHP | 没有评论 标签: , | 作者: | 2,179 views

最近开发了几个定时任务,全量同步个人基本信息(Oracle数据同步到MySql),浏览量延迟更新,每日订阅邮件发送,年度统计报表汇总等开发任务,万变不离其宗,几乎一样的业务逻辑,完成任务开发工作。

定时任务有“串行”,“并行”执行,即所谓的单线程与多线程,本文就介绍一种串行的任务开发成多线程执行方法,时间超短的关键场景串行执行,到数据处理(耗时大)并行执行方案,这就好比电脑、手机CPU多核的缘故,瞬间“高大上”。

定时任务使用场景有哪些呢?.seedpaddy.com
系统版本升级,业务数据结构改动,有时不可避免的需要刷相应的全量数据;不同系统之间数据全量同步,比如用户信息全量同步;报表统计,比如年度统计报表等等;

定时任务尽量满足如下条件:

  1. 可单个执行(单数据调试,同步);
  2. 分时、分段执行(避免执行超时或内存溢出);
  3. 可多线程执行(数据量大提高执行效率,避免几天没法完成刷数据或全量同步);
  4. 可重复执行(这个非必须)。

看业务流程图:
timer-corntab

图解,定时任务进程启动,设置Memcache锁,到解除Memcache锁,这一步操作是串行执行,主要耗时在取数据阶段(此时定时任务,对大数据量操作尽量SQL简单,带索引查询哦,减少串行阻塞);只要Memcache没锁,任务往下执行。

有了内存锁,为啥还要文件锁?当任务并发来时,程序就会异常,此时定时任务满足条件4就不影响,否则增加一个文件锁,程序会更加严谨(定时任务可控性,建议多个进程跑时,尽量错开运行)。.seedpaddy.com

为啥有标志位?标志位其实就是为了顺序取数据,或者判断定时任务跑了一个全量,是否循环继续跑定时任务,比如全量同步个人信息,取数据阶段若没取到数据,则可以设置标志位为复位(一般设为0即可)。

解除Memcache锁定后,就到了定时任务的核心(数据处理),此处根据业务需求,酌情开发,不再另阐述。

文章中使用到的知识点:Memcache锁,文件锁请参考另外一篇博客:
PHP文件锁核心类库与Flock锁函数

2015年1月27日,优化版流程图:
timer-corntab-better

PHP与Memcache结合浏览量延迟方案

2015/01/11 | 星期日 分类:PHP | 没有评论 标签: , | 作者: | 2,269 views

这篇干货,适用中小型网站浏览更新频繁,减少mysql服务器(鸭梨),减少服务器io的一种绝佳方案。

平常在工作,开发中设计或做数据统计的时候,习惯把浏览量放在资源表中,一般小网站做法是访问一次更新一次资源浏览量:比如blog系统,访问blog详情页时,blog浏览量增加1,就会做一次数据update,这样的后果是,频繁更新数据库,造成数据库链接过多 + 服务器IQ读写频繁,网站浏览量稍大点服务器就容易宕机。.seedpaddy.com

看图说话,浏览量更新流程图.seedpaddy.com
view-delay

结合上图,解析下流程图:
1.资源浏览量,比如blog详情页的浏览量 views = mysql(数据表的浏览量) + memcache(浏览量) 每次访客访问blog详情页,浏览量就会+1,使用浏览延迟更新,仅更新memcache中的浏览量,并把浏览量缓存的key hash到array中(这很重要),当memcache中的浏览量达到某一值,比如100时,做一次update mysql数据的浏览量,并即时把memcache的浏览量设置为0。

2.由于资源浏览量部分保存在memcache中,重启memcache,或者其他原因,浏览量会丢失,需要额外开发一个定时任务更新缓存的浏览量到mysql中;
阅读全文

PHP之in_array,isset,strpos对比与效率优化

2015/01/10 | 星期六 分类:PHP | 没有评论 标签: , | 作者: | 2,086 views

PHP内部函数有时也有不靠谱的时候,比如:in_array也是一个坑,当自己项目中出现了效率问题后,才不断的追踪,查阅相关资料解决这等难题,才有了这篇文章,转帖加工解决实际难题。

或许这就是一个小公司与大公司的区别,或许一个普通开发与资深的区别,或许这就月薪是拿15K的分水岭,这篇文章绝对干货,值得细细品味。.seedpaddy.com

项目开发中不少地方可能都用过in_array来判断一个数据是否在一个数组中,一般我们的数组可能数据都比较小,对性能没什么影响,所以也就不会太在意,但是如果数组比较大的时候,且频繁或循环调用时性能就会下降厉害,运行效率差,那如果针对在大数组情况下做优化呢,下面说两种方法(都是通过自定义函数+内部函数来实现):

1.数组key与value翻转,通过isset判断key是否存在于数组中

至于为什么不用 array_key_exists 来做判断二用isset呢?.seedpaddy.com
下面看下array_key_exists() 与 isset() 的对比:

isset()对于数组中为NULL的值不会返回TRUE,而array_key_exists()会。

$search_array = array(‘first’ => null, ‘second’ => 4);

isset($search_array[‘first’]);
// return false

array_key_exists(‘first’, $search_array);
// return true

2.用implode连接,直接用strpos判断
用implode函数+逗号连起来,直接用strpos判断。php里面字符串取位置速度非常快,尤其是在大数据量的情况下。需要注意的是首尾都要加”,” ,这样比较严谨。
比如: ,email1,email2,email3,email4,email5, 查找的时候,查,email1,。还有strpos要用!== false,因为第一个会返回0。

关于in_array的执行效率分析可以查看手册+Google+Baidu查看相关文章:.seedpaddy.com
php中的in_array函数效率分析

PHP 链接 Memcached 集群封装类库

2014/11/21 | 星期五 分类:PHP | 一条评论 标签: | 作者: | 2,574 views

近一年多,项目中用到memcache技术,最近写了个小程序,解决了项目中一个难点(流量量频繁更新数据库以致mysql服务连接过多,超负荷运行,干货待下周博文:PHP与Memcache结合浏览量延迟方案,此次抽空先介绍 PHP链接Memcache 集群封装类库 特意有此文,Demo

阅读此文,请务必要关注上一篇文章介绍:PHP链接MEMCACHE安装与概念理解

先上干货,代码注释很详细,不再重复介绍.seedpaddy.com

PHP Memcache 配置调用运行文件

全局函数,这里有玄机,待下篇文章:”PHP与Memcache结合浏览量延迟方案” 回再次介绍.seedpaddy.com

PHP链接Memcache 集群封装类库(真正的干货,都在里边,需要活用).seedpaddy.com
阅读全文

PHP 链接 Memcache 安装与概念理解

2014/11/16 | 星期日 分类:PHP | 2 条评论 标签: | 作者: | 2,311 views

办公上,Linux 服务器 与 Windows7 x64在xampp 之前安装过最新版本php5.6;所以建议都安装最新稳定版本。

但由于家里机器与系统是老的,亦懒得把数据库切换新的xampp,目前使用的是PHP5.3.1 版本,故扩展需要对应php_memcache.dll版本,否则xampp启动不来,安装过程记录如下:.

一、安装memcache的php扩展(用于连接管理memcached)

1. php_memcache.dll 下载:对应的版本php5.3.1
下载地址:php_memcache.zip 官方下载地址: http://pecl.php.net/package/memcache
对于PHP5.3以下的版本,请自行搜索下载,官方地址不提供了。

2. 把php_memcache.dll放到php的ext目录:
例如:D:\xampp\php\ext\php_memcache.dll

3. 打开 php.ini 文件:.
我的php.ini的位置:D:\xampp\php\php.ini

4. 在 php.ini上增加一行:
extension=php_memcache.dll

5. 重启xampp的apache服务,不报错,则版本合适;否则请重新下php_memcache.dll文件;

6.打开phpinfo 运行,搜索memcache 看到如下截图:

php_memcache
即PHP memcache 扩展安装成功。

二、安装memcached

1. Memcached-win64 下载:

a. 下载最新版:memcached 自行搜索下载;

2. 解压放某个盘下面,比如:

D:\Program Files\memcached\memcached.exe

3. 在终端(也即cmd命令界面)下输入以下命令安装windows服务:

D:\Program Files\memcached>memcached.exe -d install

4. 再输入下面命令启动:seedpaddy.com

D:\Program Files\memcached>memcached.exe -d start

这里参数有很多,这里就不介绍了,有兴趣的可以自己去查一下

NOTE: 以后memcached将作为windows的一个服务每次开机时自动启动。.

————— memcache 和 memcached —————

一会 memcache 和 一会 memcached 混淆不清,曾今在脑后中概念模糊,趁这文聊聊:memcache和memcached的区别。

  1. Example : 在自己的新程序中打算全面应用memcached技术,这个很容易理解这是memcached是内存缓存,但是怎么还有memcache呢?
  2. 其实很简单,memcache 是 php 的一个扩展,用于 php 管理 memcached,php-memcache.dll。
  3. 如果安装了 memcached 不安装扩展,那么 php 无法操控 memcached,但是命令行使用起来没有问题;
  4. 如果安装了 memcache扩展 但是没有安装 memcached 服务,那么这个就无法使用;
  5. 只有同时安装了 memcached服务 和 memcache扩展 才可以在PHP中使用 memcached 提高动态网站性能

————— 测试PHP 链接 memcached —————

测试代码如下,打印输出已注释,在高亮代码中显示有bug

你可以看到如下结果

至此,本文结束,下篇:介绍PHP 链接 Memcached 集群封装类库,有内涵哦!

PHP之Curl抓取数据与模拟POST核心类库

2014/11/04 | 星期二 分类:PHP | 没有评论 标签: , | 作者: | 6,407 views

本篇文章中主要讲解php curl库的知识,带着如下几个问题:怎么样才能从其他站点获取内容呢?怎么把本站的数据提交到其他服务器?比如完成订单支付接口需要POST数据,并返回处理结果等。

带着这两个问题,通读如下类库,调用CURL核心类,curl 算入门到精通了。.

CULR抓取网页数据,调用简单

CURL引入类库调用类,之后 如下操作 POST数据 .

接收页面(类似网页表单POST处理页),如上的url

CURL核心类

PHP文件锁核心类库与Flock锁函数

2014/10/31 | 星期五 分类:PHP | 一条评论 标签: | 作者: | 2,095 views

本文介绍PHP文件锁核心类库与Flock锁函数调用,文件锁

并发下常见的加锁及锁的PHP具体实现,在最近的项目中有这样的场景:

1.生成文件的时候,由于多用户都有权限进行生成,防止并发下,导致生成的结果出现错误,需要对生成的过程进行加锁,只容许一个用户在一个时间内进行操作,这个时候就需要用到锁了,将这个操作过程锁起来..

2.在用了cache的时候,cache失效可能导致瞬间的多数并发请求穿透到数据库此时也可以得需要用锁在同一并发的过程中将这个操作锁定.

3.串行定时任务,特定场合.

先介绍使用方法如下:

方法一,在非 NFS 以及其它一些网络文件系统,所以此方法有局限性

方法二,任何系统都可以.

具体类如下:.

PHP算法之快速冒泡产牛猴子大王算法

2014/10/18 | 星期六 分类:PHP | 没有评论 标签: | 作者: | 1,088 views

最近突然迷恋上算法了。温故而知新,这些简单而基础的东西是学习算法的基石,所以又必要再次练习下。

冒泡排序 && 选择排序 这两个算法很相近,至于原理请自己分析,很容易混淆。

猴子选大王算法:.

产牛算法,按在08年腾讯在广州天河社招时面试题,记得当时俺写不出来.

冒泡算法:

选择排序算法:
对比冒泡算法,其优点在哪里? 分析下代码即可…

快速排序算法:.

插入排序算法:

PHP错误日记打印与调试Demo

2014/09/16 | 星期二 分类:PHP | 没有评论 标签: , , | 作者: | 1,064 views

PHP错误日记打印与调试Demo 注意:此Demo 适合在本地调试,方便自己开发,做项目,若php_error.log 日记文件过大,浏览器会崩溃哦。

场景:在做项目的时候,有时候会需要查看一下PHP/Apache的错误日志,然后就需要很繁琐的打开那个目录下面,看信息,只有当错误的时候才会去打开那个文件。但是最近我发现在开发的时候,自己忽略掉了很多错误,虽然不会导致出错,但是搞不好哪天就会爆发。

而且每次打开那个文件,然后自己又要手动的刷新,太麻烦,所以就做了个网页版的Demo,能够实时查看错误日志。

这个小工具比较简陋,就是简单的将文件内容打印到页面中,并在有新错误的时候做个title的闪动小提示。
跟着做如下四步即可:
第一步,先做些准备工作,配置PHP日记:

阅读全文

Cookie跨域之P3P解决方案

2013/05/27 | 星期一 分类:PHP | 没有评论 标签: , | 作者: | 1,906 views

Cookie跨域(第三方cookie)接收限制问题:本文是基于cookie保存session id 引出的问题,涉及浏览器的第三方cookie限制,这个在IE8、IE9才出现的问题。

情景:处理一个 js 跨域问题,使用 jsonp 跨域提交用户名密码请求,实现自动登录第三方网站,即 SSO(single-sign-on) 单点登录,一处登录处处登录。在 Chrome 下没问题,IE 却不行。查看 HTTP 的几个来回,发现登录请求是成功的,问题出在第三方网站返回的 cookie (session id) IE 并没有接受,下一次发送请求时根本没有带上 cookie,说明之前的 Set-Cookie 指令没有效果,所以怎么也登录不了。查了一下,有人使用 iframe 内嵌网页的形式,也遇到了 IE 下不能设置 cookie 的情况。

如果在“Internet选项”中把“隐私”级别设置为低,或者把第三方域名列入“可信站点”就没问题了。但是我们不可能让每个用户去更改 IE 设定吧?因此否决此观点…这是一个很常遇到的场景,肯定有别的解决办法。.

简单的说是“你访问域名A却接收到域名B的cookie 设定指令”这可能是由于网页A请求或链接了B的网页,比如 iframe 以及 jsonp问题。

相关概念:Session 默认都是基于 Cookie;PHP中的session在默认情况下是使用客户端的Cookie来保存session id的,所以当客户端的cookie出现问题的时候就会影响session了。
必须注意的是:session不一定必须依赖cookie,这也是 session相比cookie的高明之处。
当客户端的Cookie被禁用或出现问题时,PHP会自动把session id附着在URL中,这样再通过session id就能跨页使用session变量了。但这种附着也是有一定条件的,即“php.ini中session.use_trans_sid = 1或者编译时打开打开了–enable-trans-sid选项”.

Session非基于Cookie的情况:可以手动通过URL传值、隐藏表单传递session id,然后通过这个session id 获取session。

再看下另外一个概念:P3P,说明是P3P?
P3P 全称 Platform for Privacy Preferences,隐私设定平台规范。简言之,就是网站向浏览器声明自己的隐私政策,比如网站是否搜集访问者的个人信息,设置 cookie 的用途等等。浏览器会依据设置,决定在第三方请求的条件下是否接受网站的 cookie。这个规范极其复杂,跳过,请另查阅相关资料。

了解了情景与相关概念后:使用P3P规范让IE跨域接受第三方cookie 既可以解决问题。

至于完整地部署 P3P 包括设立隐私政策文件(policy.html)、原则档(policy.xml)、参考档(p3p.xml),非本文研究,可另查相关资料。

三种常用语言解决方案:发送头文件即可。 注意前面“#”注释

看了header,比如 IDC DSP 什么的是啥意思啊?

这些标签就是 P3P 所规定的了,例如 NOI 表示不搜集可识别用户的资料,ADM 表示信息搜集会用于网站管理……查看完整清单,中文简要清单。

浏览器会根据这些标签决定是否接受 cookie,根据测试结果,加上 NOI 最省事,一个就够了。不过网站一般很难做到 NOI,除非永远匿名,“登录”功能可能就违背了NOI。理论上讲,标签应该真实地反映网站的信息搜集行为,若声明的隐私政策与实际行为不符,是会要负法律责任的。Stackoverflow 有篇讨论提出了法律相关议题,可以参考。.

除了传送 P3P http header,还可以通过 HTML meta 标签,或者设定IIS服务器来声明P3P。

看完,文章也就解决了。

第 1 页,共 2 页12