基于HTTP协议的轻量级开源简单队列服务:HTTPSQS

摘要

[文章作者:张宴 本文版本:v1.1 最后修改:2009.12.30 转载请注明原文链接:http://blog.s135.com/httpsqs/]

HTTPSQS(HTTP Simple Queue Service)是一款基于 HTTP GET/POST 协议的轻量级开源简单消息队列服务,使用 Tokyo Cabinet 的 B+Tree Key/Value 数据库来做数据的持久化存储。
项目网址:http://code.google.com/p/httpsqs/
使用环境:Linux(同时支持32位、64位操作系统,推荐使用64位操作系统)
软件作者:张宴
队列(Queue)又称先进先出表(First In First Out),即先进入队列的元素,先从队列中取出。加入元素的一头叫“队头”,取出元素的一头叫“队尾”。利用消息队列可以很好地异步处理数据传送和存储,当你频繁地向数据库中插入数据、频繁地向搜索引擎提交数据,就可采取消息队列来异步插入。另外,还可以将较慢的处理逻辑、有并发数量限制的处理逻辑,通过消息队列放在后台处理,例如FLV视频转换、发送手机短信、发送电子邮件等。
1、HTTPSQS 具有以下特征:
● 非常简单,基于 HTTP GET/POST 协议。PHP、Java、Perl、Shell、Python、Ruby等支持HTTP协议的编程语言均可调用。
● 非常快速,入队列、出队列速度超过10000次/秒。
● 高并发,支持上万的并发连接,C10K不成问题。
● 支持多队列。
● 单个队列支持的最大队列数量高达10亿条。
● 低内存消耗,海量数据存储,存储几十GB的数据只需不到100MB的物理内存缓冲区。
● 可以在不停止服务的情况下便捷地修改单个队列的最大队列数量。
● 可以实时查看队列状态(入队列位置、出队列位置、未读队列数量、最大队列数量)。
● 可以查看指定队列ID(队列点)的内容,包括未出、已出的队列内容。
● 查看队列内容时,支持多字符集编码。
● 源代码不超过700行,适合二次开发。点击在新窗口中浏览此图片

 


2、HTTPSQS 压力测试:

采用Apache ab命令进行压力测试,开启10个线程,放入10万条文本数据(每条512字节)到队列中:
使用HTTP Keep-Alive时:15446 requests/sec
关闭HTTP Keep-Alive时:10515 requests/sec

采用Apache ab命令进行压力测试,开启10个线程,从队列中取出10万条文本数据(每条512字节):
使用HTTP Keep-Alive时:16817 requests/sec
关闭HTTP Keep-Alive时:10823 requests/sec

详细测试内容:http://code.google.com/p/httpsqs/wiki/BenchmarkTest

生产环境应用:金山逍遥网新闻、视频、论坛“搜索引擎索引更新”队列,既有来自Web服务器的入队列操作,也有来自命令行脚本的批量入、出队列操作,2009-12-18上线至今,运行稳定。

3、HTTPSQS 编译安装:

ulimit -SHn 65535wget http://httpsqs.googlecode.com/files/libevent-1.4.13-stable.tar.gz
tar zxvf libevent-1.4.13-stable.tar.gz
cd libevent-1.4.13-stable/
./configure –prefix=/usr
make
make install
cd ../wget http://httpsqs.googlecode.com/files/tokyocabinet-1.4.41.tar.gz
tar zxvf tokyocabinet-1.4.41.tar.gz
cd tokyocabinet-1.4.41/
./configure
#注:在32位Linux操作系统上编译Tokyo cabinet,请使用./configure –enable-off64代替./configure,可以使数据库文件突破2GB的限制。
#./configure –enable-off64
make
make install
cd ..//sbin/ldconfig

wget http://httpsqs.googlecode.com/files/httpsqs-1.1.tar.gz
tar zxvf httpsqs-1.1.tar.gz
cd httpsqs-1.1/
make
make install
cd ../

 


4、HTTPSQS 服务器使用文档:

点击在新窗口中浏览此图片

[root@xoyo ~]# httpsqs -h

-l <ip_addr> 监听的IP地址,默认值为 0.0.0.0
-p <num> 监听的TCP端口(默认值:1218)
-x <path> 数据库目录,目录不存在会自动创建(例如:/opt/httpsqs/data)
-t <second> HTTP请求的超时时间(默认值:1)
-d 以守护进程运行
-h 显示这个帮助

示例:

ulimit -SHn 65535
httpsqs -d -p 1218 -x /data0/search/queue

请使用命令“killall httpsqs”、“pkill httpsqs”和“kill httpsqs的进程ID”来停止httpsqs。

注意:请不要使用命令“pkill -9 httpsqs”和“kill -9  httpsqs的进程ID”来结束httpsqs,否则,内存中尚未保存到磁盘的数据将会丢失。

 


5、HTTPSQS 客户端使用文档:

(1)、入队列(将文本消息放入队列):

HTTP GET 协议(以curl命令为例):

curl “http://host:port/?name=your_queue_name&opt=put&data=经过URL编码的文本消息”

HTTP POST 协议(以curl命令为例):

curl -d “经过URL编码的文本消息” “http://host:port/?name=your_queue_name&opt=put”

以浏览器为例:
点击在新窗口中浏览此图片

如果入队列成功,返回:

HTTPSQS_PUT_OK

如果入队列失败,返回:

HTTPSQS_PUT_ERROR

 


(2)、出队列(从队列中取出文本消息):

HTTP GET 协议(以curl命令为例):

curl “http://host:port/?charset=utf-8&name=your_queue_name&opt=get”

 

curl “http://host:port/?charset=gb2312&name=your_queue_name&opt=get”

以浏览器为例:
点击在新窗口中浏览此图片

返回消息队列的内容给客户端。如果没有未取出的消息队列,则返回:

HTTPSQS_GET_END

参数charset说明(例如:/?charset=utf-8):
指定HTTP输出Header头的字符编码,即:
Content-Type: text/plain; charset=utf-8

任何在IANA注册的字符编码均可使用,但是,并不是所有的浏览器都能解析全部的字符编码。对于中文,常用的字符编码有:utf-8、gb2312、gbk、gb18030、big5等。

 


(3)、查看队列状态:

HTTP GET 协议(以curl命令为例):

 

curl “http://host:port/?name=your_queue_name&opt=status”

返回(示例):

 

HTTP Simple Queue Service v1.0
——————————
Queue Name: xoyo
Maximum number of queues: 1000000
Put position of queue (1st lap): 45
Get position of queue (1st lap): 6
Number of unread queue: 39  如果“队列写入点值”大于“最大队列数量值”,将重置“队列写入点”为1,即又从1开始存储新的队列内容,覆盖原来队列位置点的内容:
HTTP Simple Queue Service v1.0
——————————
Queue Name: xoyo
Maximum number of queues: 1000000
Put position of queue (2st lap): 4562
Get position of queue (1st lap): 900045
Number of unread queue: 104517  以浏览器为例:
点击在新窗口中浏览此图片

(4)、查看指定队列位置点的内容:

跟一般的队列系统不同的是,HTTPSQS 可以查看指定队列ID(队列点)的内容,包括未出、已出的队列内容。可以方便地观测进入队列的内容是否正确。

另外,假设有一个发送手机短信的队列,由客户端守护进程从队列中取出信息,并调用“短信网关接口”发送短信。但是,如果某段时间“短信网关接口”有故障,而这段时间队列位置点300~900的信息已经出队列,但是发送短信失败,我们还可以在位置点300~900被覆盖前,查看到这些位置点的内容,作相应的处理。

HTTP GET 协议(以curl命令为例):

 

curl “http://host:port/?charset=utf-8&name=your_queue_name&opt=view&pos=5”
curl “http://host:port/?charset=gb2312&name=your_queue_name&opt=view&pos=19”

pos >=1 并且 <= 1000000000

返回指定队列位置点的内容。

 


(5)、重置指定队列:

HTTP GET 协议(以curl命令为例):

 

curl “http://host:port/?name=your_queue_name&opt=reset”
如果重置成功,返回:
HTTPSQS_RESET_OK  如果重置失败,返回:
HTTPSQS_RESET_ERROR

(6)、更改指定队列的最大队列数量:

默认的最大队列长度(100万条):1000000

HTTP GET 协议(以curl命令为例):

 

curl “http://host:port/?name=your_queue_name&opt=maxqueue&num=1000000000”

num >=10 并且 <= 1000000000

如果更改最大队列数量成功,则返回:

 

HTTPSQS_MAXQUEUE_OK  更改的最大队列数量必须大于当前的“队列写入点”。另外,当“队列写入点”小于“队列读取点”时(即PUT位于圆环的第二圈,而GET位于圆环的第一圈时),本操作将被取消,然而返回给客户端以下信息:
HTTPSQS_MAXQUEUE_CANCEL

(7)、全局错误:

如果发送全局错误(即指令、参数错误等),将返回以下信息:

HTTPSQS_ERROR

6、客户端 PHP Class 说明文档:

Class 文件路径:httpsqs-1.1/client/php/httpsqs_client.php

查看 PHP Class 源代码:httpsqs_client.php

用法:

 

  1. <?php    
  2. ……    
  3. include_once(“httpsqs_client.php”);    
  4. $httpsqs = new httpsqs;    
  5.     
  6. /* —–不使用Keep-Alive的短连接方式—– */    
  7. /* 
  8. 1. 将文本信息放入一个队列  
  9.     如果入队列成功,返回布尔值:true   
  10.     如果如队列失败,返回布尔值:false   
  11. */    
  12. $result = $httpsqs->put($host$port$charset$name$data);    
  13.     
  14. /* 
  15. 2. 从一个队列中取出文本信息  
  16.     返回该队列的内容  
  17.     如果没有未被取出的队列,则返回文本信息:HTTPSQS_GET_END   
  18. */    
  19. $result = $httpsqs->get($host$port$charset$name);    
  20.     
  21. /* 
  22. 3. 查看队列状态  
  23. */    
  24. $result = $httpsqs->status($host$port$charset$name);    
  25.     
  26. /* 
  27. 4. 查看指定队列位置点的内容  
  28.     返回指定队列位置点的内容。  
  29. */    
  30. $result = $httpsqs->view($host$port$charset$name$pos);    
  31.     
  32. /* 
  33. 5. 重置指定队列  
  34.     如果重置队列成功,返回布尔值:true   
  35.     如果重置队列失败,返回布尔值:false   
  36. */    
  37. $result = $httpsqs->reset($host$port$charset$name);    
  38.     
  39. /* 
  40. 6. 更改指定队列的最大队列数量  
  41.    如果更改成功,返回布尔值:true  
  42.    如果更改操作被取消,返回布尔值:false   
  43. */    
  44. $result = $httpsqs->maxqueue($host$port$charset$name$num);    
  45.     
  46. /* —–使用Keep-Alive的长连接方式 (在 PHP FastCGI 模式和命令行模式下速度非常快)—– */    
  47. $result = $httpsqs->pput($host$port$charset$name$data);    
  48. $result = $httpsqs->pget($host$port$charset$name);    
  49. $result = $httpsqs->pstatus($host$port$charset$name);    
  50. $result = $httpsqs->pview($host$port$charset$name$pos);    
  51. $result = $httpsqs->preset($host$port$charset$name);    
  52. $result = $httpsqs->pmaxqueue($host$port$charset$name$num);    
  53. ?>  

 

[文章作者:张宴 本文版本:v1.1 最后修改:2009.12.30 转载请注明原文链接:http://blog.s135.com/httpsqs/]

HTTPSQS(HTTP Simple Queue Service)是一款基于 HTTP GET/POST 协议的轻量级开源简单消息队列服务,使用 Tokyo Cabinet 的 B+Tree Key/Value 数据库来做数据的持久化存储。
项目网址:http://code.google.com/p/httpsqs/
使用环境:Linux(同时支持32位、64位操作系统,推荐使用64位操作系统)
软件作者:张宴
队列(Queue)又称先进先出表(First In First Out),即先进入队列的元素,先从队列中取出。加入元素的一头叫“队头”,取出元素的一头叫“队尾”。利用消息队列可以很好地异步处理数据传送和存储,当你频繁地向数据库中插入数据、频繁地向搜索引擎提交数据,就可采取消息队列来异步插入。另外,还可以将较慢的处理逻辑、有并发数量限制的处理逻辑,通过消息队列放在后台处理,例如FLV视频转换、发送手机短信、发送电子邮件等。
1、HTTPSQS 具有以下特征:
● 非常简单,基于 HTTP GET/POST 协议。PHP、Java、Perl、Shell、Python、Ruby等支持HTTP协议的编程语言均可调用。
● 非常快速,入队列、出队列速度超过10000次/秒。
● 高并发,支持上万的并发连接,C10K不成问题。
● 支持多队列。
● 单个队列支持的最大队列数量高达10亿条。
● 低内存消耗,海量数据存储,存储几十GB的数据只需不到100MB的物理内存缓冲区。
● 可以在不停止服务的情况下便捷地修改单个队列的最大队列数量。
● 可以实时查看队列状态(入队列位置、出队列位置、未读队列数量、最大队列数量)。
● 可以查看指定队列ID(队列点)的内容,包括未出、已出的队列内容。
● 查看队列内容时,支持多字符集编码。
● 源代码不超过700行,适合二次开发。点击在新窗口中浏览此图片

 


2、HTTPSQS 压力测试:

采用Apache ab命令进行压力测试,开启10个线程,放入10万条文本数据(每条512字节)到队列中:
使用HTTP Keep-Alive时:15446 requests/sec
关闭HTTP Keep-Alive时:10515 requests/sec

采用Apache ab命令进行压力测试,开启10个线程,从队列中取出10万条文本数据(每条512字节):
使用HTTP Keep-Alive时:16817 requests/sec
关闭HTTP Keep-Alive时:10823 requests/sec

详细测试内容:http://code.google.com/p/httpsqs/wiki/BenchmarkTest

生产环境应用:金山逍遥网新闻、视频、论坛“搜索引擎索引更新”队列,既有来自Web服务器的入队列操作,也有来自命令行脚本的批量入、出队列操作,2009-12-18上线至今,运行稳定。

3、HTTPSQS 编译安装:

ulimit -SHn 65535wget http://httpsqs.googlecode.com/files/libevent-1.4.13-stable.tar.gz
tar zxvf libevent-1.4.13-stable.tar.gz
cd libevent-1.4.13-stable/
./configure --prefix=/usr
make
make install
cd ../wget http://httpsqs.googlecode.com/files/tokyocabinet-1.4.41.tar.gz
tar zxvf tokyocabinet-1.4.41.tar.gz
cd tokyocabinet-1.4.41/
./configure
#注:在32位Linux操作系统上编译Tokyo cabinet,请使用./configure --enable-off64代替./configure,可以使数据库文件突破2GB的限制。
#./configure --enable-off64
make
make install
cd ..//sbin/ldconfig

wget http://httpsqs.googlecode.com/files/httpsqs-1.1.tar.gz
tar zxvf httpsqs-1.1.tar.gz
cd httpsqs-1.1/
make
make install
cd ../

 


4、HTTPSQS 服务器使用文档:

点击在新窗口中浏览此图片

[root@xoyo ~]# httpsqs -h

-l <ip_addr> 监听的IP地址,默认值为 0.0.0.0
-p <num> 监听的TCP端口(默认值:1218)
-x <path> 数据库目录,目录不存在会自动创建(例如:/opt/httpsqs/data)
-t <second> HTTP请求的超时时间(默认值:1)
-d 以守护进程运行
-h 显示这个帮助

示例:

ulimit -SHn 65535
httpsqs -d -p 1218 -x /data0/search/queue

请使用命令“killall httpsqs”、“pkill httpsqs”和“kill httpsqs的进程ID”来停止httpsqs。

注意:请不要使用命令“pkill -9 httpsqs”和“kill -9  httpsqs的进程ID”来结束httpsqs,否则,内存中尚未保存到磁盘的数据将会丢失。

 


5、HTTPSQS 客户端使用文档:

(1)、入队列(将文本消息放入队列):

HTTP GET 协议(以curl命令为例):

curl "http://host:port/?name=your_queue_name&opt=put&data=经过URL编码的文本消息"

HTTP POST 协议(以curl命令为例):

curl -d "经过URL编码的文本消息" "http://host:port/?name=your_queue_name&opt=put"

以浏览器为例:
点击在新窗口中浏览此图片

如果入队列成功,返回:

HTTPSQS_PUT_OK

如果入队列失败,返回:

HTTPSQS_PUT_ERROR

 


(2)、出队列(从队列中取出文本消息):

HTTP GET 协议(以curl命令为例):

curl "http://host:port/?charset=utf-8&name=your_queue_name&opt=get"

 

curl "http://host:port/?charset=gb2312&name=your_queue_name&opt=get"

以浏览器为例:
点击在新窗口中浏览此图片

返回消息队列的内容给客户端。如果没有未取出的消息队列,则返回:

HTTPSQS_GET_END

参数charset说明(例如:/?charset=utf-8):
指定HTTP输出Header头的字符编码,即:
Content-Type: text/plain; charset=utf-8

任何在IANA注册的字符编码均可使用,但是,并不是所有的浏览器都能解析全部的字符编码。对于中文,常用的字符编码有:utf-8、gb2312、gbk、gb18030、big5等。

 


(3)、查看队列状态:

HTTP GET 协议(以curl命令为例):

 

curl "http://host:port/?name=your_queue_name&opt=status"

返回(示例):

 

HTTP Simple Queue Service v1.0
------------------------------
Queue Name: xoyo
Maximum number of queues: 1000000
Put position of queue (1st lap): 45
Get position of queue (1st lap): 6
Number of unread queue: 39  如果“队列写入点值”大于“最大队列数量值”,将重置“队列写入点”为1,即又从1开始存储新的队列内容,覆盖原来队列位置点的内容:
HTTP Simple Queue Service v1.0
------------------------------
Queue Name: xoyo
Maximum number of queues: 1000000
Put position of queue (2st lap): 4562
Get position of queue (1st lap): 900045
Number of unread queue: 104517  以浏览器为例:
点击在新窗口中浏览此图片

(4)、查看指定队列位置点的内容:

跟一般的队列系统不同的是,HTTPSQS 可以查看指定队列ID(队列点)的内容,包括未出、已出的队列内容。可以方便地观测进入队列的内容是否正确。

另外,假设有一个发送手机短信的队列,由客户端守护进程从队列中取出信息,并调用“短信网关接口”发送短信。但是,如果某段时间“短信网关接口”有故障,而这段时间队列位置点300~900的信息已经出队列,但是发送短信失败,我们还可以在位置点300~900被覆盖前,查看到这些位置点的内容,作相应的处理。

HTTP GET 协议(以curl命令为例):

 

curl "http://host:port/?charset=utf-8&name=your_queue_name&opt=view&pos=5"
curl "http://host:port/?charset=gb2312&name=your_queue_name&opt=view&pos=19"

pos >=1 并且 <= 1000000000

返回指定队列位置点的内容。

 


(5)、重置指定队列:

HTTP GET 协议(以curl命令为例):

 

curl "http://host:port/?name=your_queue_name&opt=reset"
如果重置成功,返回:
HTTPSQS_RESET_OK  如果重置失败,返回:
HTTPSQS_RESET_ERROR

(6)、更改指定队列的最大队列数量:

默认的最大队列长度(100万条):1000000

HTTP GET 协议(以curl命令为例):

 

curl "http://host:port/?name=your_queue_name&opt=maxqueue&num=1000000000"

num >=10 并且 <= 1000000000

如果更改最大队列数量成功,则返回:

 

HTTPSQS_MAXQUEUE_OK  更改的最大队列数量必须大于当前的“队列写入点”。另外,当“队列写入点”小于“队列读取点”时(即PUT位于圆环的第二圈,而GET位于圆环的第一圈时),本操作将被取消,然而返回给客户端以下信息:
HTTPSQS_MAXQUEUE_CANCEL

(7)、全局错误:

如果发送全局错误(即指令、参数错误等),将返回以下信息:

HTTPSQS_ERROR

6、客户端 PHP Class 说明文档:

Class 文件路径:httpsqs-1.1/client/php/httpsqs_client.php

查看 PHP Class 源代码:httpsqs_client.php

用法:

 

  1. <?php    
  2. ......    
  3. include_once("httpsqs_client.php");    
  4. $httpsqs = new httpsqs;    
  5.     
  6. /* -----不使用Keep-Alive的短连接方式----- */    
  7. /* 
  8. 1. 将文本信息放入一个队列  
  9.     如果入队列成功,返回布尔值:true   
  10.     如果如队列失败,返回布尔值:false   
  11. */    
  12. $result = $httpsqs->put($host$port$charset$name$data);    
  13.     
  14. /* 
  15. 2. 从一个队列中取出文本信息  
  16.     返回该队列的内容  
  17.     如果没有未被取出的队列,则返回文本信息:HTTPSQS_GET_END   
  18. */    
  19. $result = $httpsqs->get($host$port$charset$name);    
  20.     
  21. /* 
  22. 3. 查看队列状态  
  23. */    
  24. $result = $httpsqs->status($host$port$charset$name);    
  25.     
  26. /* 
  27. 4. 查看指定队列位置点的内容  
  28.     返回指定队列位置点的内容。  
  29. */    
  30. $result = $httpsqs->view($host$port$charset$name$pos);    
  31.     
  32. /* 
  33. 5. 重置指定队列  
  34.     如果重置队列成功,返回布尔值:true   
  35.     如果重置队列失败,返回布尔值:false   
  36. */    
  37. $result = $httpsqs->reset($host$port$charset$name);    
  38.     
  39. /* 
  40. 6. 更改指定队列的最大队列数量  
  41.    如果更改成功,返回布尔值:true  
  42.    如果更改操作被取消,返回布尔值:false   
  43. */    
  44. $result = $httpsqs->maxqueue($host$port$charset$name$num);    
  45.     
  46. /* -----使用Keep-Alive的长连接方式 (在 PHP FastCGI 模式和命令行模式下速度非常快)----- */    
  47. $result = $httpsqs->pput($host$port$charset$name$data);    
  48. $result = $httpsqs->pget($host$port$charset$name);    
  49. $result = $httpsqs->pstatus($host$port$charset$name);    
  50. $result = $httpsqs->pview($host$port$charset$name$pos);    
  51. $result = $httpsqs->preset($host$port$charset$name);    
  52. $result = $httpsqs->pmaxqueue($host$port$charset$name$num);    
  53. ?>  

 

您可以选择一种方式赞助本站

支付宝转账赞助

支付宝扫一扫赞助