聊聊 Python 数据处理全家桶(Memcached篇)

开发 后端 存储软件
Memcached:一款高性能分布式内存对象缓存系统,通过 内存缓存,以减少数据库的读取,从而分担数据库的压力,进而提高网站的加载速度

 [[344063]]

本文转载自微信公众号「星安果」,作者AirPython 。转载本文请联系星安果公众号。

 1. 前言

本篇文章继续继续另外一种比较常用的数据存储方式:Memcached

Memcached:一款高性能分布式内存对象缓存系统,通过 内存缓存,以减少数据库的读取,从而分担数据库的压力,进而提高网站的加载速度

Memcached,实际上是一套简洁的键值对存储系统,可以存储各种类型的数据,包含:字符串、对象、图像、文件、视频等

由于 Memcached 的数据存储在内存中,因此重启服务或系统之后,数据会全部丢失;另外,当 Memcached 使用容量达到指定值时,会基于 LRU 算法,自动删除掉不使用的缓存

Memcached 协议简洁而强大,开发方便快捷,兼容大部分的开发语言;本篇文章就聊聊 Python 操作 Memcached 正确的姿势

2. 准备

我们以在云服务器 Centos 7.8 安装 Memcached-Server 为例

首先,在云服务器上安装 Memcached

  1. # 使用yum安装memcached 
  2. yum install memcached 

通过 whereis 命令,查询出 Memcached 安装的目录

  1. # 使用whereis命令查询memcached安装目录 
  2. # /usr/bin/memcached 
  3. [root@VM-16-11-centos ~]# whereis memcached 
  4. memcached: /usr/bin/memcached /usr/share/man/man1/memcached.1.gz 

然后,通过命令行及参数启动 Memcached 服务

  1. # 运行memcached服务 
  2. # -p:端口号 
  3. # -m:分类的内存 
  4. # -d:守护进程,后台运行 
  5. # -u:运行memcached的用户 
  6. # -l:设置哪些ip可以连接到服务,0.0.0.0:容许外网ip访问 
  7. /usr/bin/memcached -p 11211 -m 64m -d -u root -l 0.0.0.0 

常见的启动参数包含:

  • -d:通过守护进程,在后台运行
  • -m:分配的最大内存,默认大小为 64 M
  • -u:运行 Memcached 的用户
  • -l:设置可以访问 Memecache 服务的 ip 地址,默认只能通过本机访问;如果想外网进行访问,需要设置为:0.0.0.0
  • -p:设置 Memcached 监听的端口号,默认为 111211
  • -c:最大运行的并发连接数,默认为 1024

接着,开启防火墙端口

需要注意的是,如果是云服务器,需要在安全组中开放相应端口号

  1. # 开启端口号 
  2. firewall-cmd --add-port=11211/tcp --permanent 
  3.  
  4. # 重启立即生效 
  5. firewall-cmd --reload 

完成以上操作,我们有两种方式操作数据

分别是:

1、通过 telnet 连接 Memecached 服务,使用命令行去操作

  1. # 连接 
  2. telnet IP地址 11211 

2、通过编程语言,包含:Python、Java、Php,去操作 Memcached 数据

以 Python 为例,需要安装 python-memcached 依赖

  1. # 安装依赖 
  2. pip3 install python-memcached 

3. 实战

在操作 Memcache 中的数据之前,我们需要导入 memcache,使用 Client() 方法指定要操作的 Memecache 服务,构建一个数据连接对象

  1. def __init__(self): 
  2.     # 连接memcached服务,可以包含多个服务ip 
  3.     self.mc = memcache.Client(['ip:11211'], debug=True

接下来我们以新增、查询、更新、追加、删除、为例,讲讲 Python 操作这些数据的方法

1、新增操作

新增操作对应的方法是:add(key,value,timeout)

其中,参数 timeout 表示数据保留的时间,超时会自动被清除掉

需要注意的是,如果准备插入键值对中的 key 在原数据集中不存在,则会新增一条记录到数据集中;否则,会添加失败,并警告提示

  1. def __add(self): 
  2.     ""
  3.     添加记录 
  4.     :return
  5.     ""
  6.     # 添加一条数据,如果已经存在,会添加失败,并提出异常 
  7.     # time:保存时间,超时会被清除,单位为秒,默认是保存永久 
  8.     # 注意:如果添加的key已经存在,会警告:MemCached: while expecting 'STORED', got unexpected response 'NOT_STORED' 
  9.     self.mc.add("name""xag"time=60 * 5) 
  10.     self.mc.add("age", 23) 

2、查询操作

Memcached 查询操作分为:

  • 通过 Key 去查询单条记录
  • 通过多个 Key 组成的列表去查询多条记录

其中,单条记录查询对应的方法是:get(key)

  1. def __query_one(self, key): 
  2.     ""
  3.     查询单条记录 
  4.     :return
  5.     ""
  6.     result = self.mc.get(key
  7.     print('单条记录查询,key:'key",value:", result) 

多条记录的查询,对应的方法是:get_multi(keys)

  1. def __query_many(self, keys): 
  2.     ""
  3.     查询多条记录 
  4.     :param keys: 键值列表 
  5.     :return
  6.     ""
  7.     values = self.mc.get_multi(keys) 
  8.  
  9.     # dict,键值对 
  10.     print(type(values)) 
  11.     print('多条记录查询:'values

3、更新操作

更新操作包含三种方法,分别是:

  • 更新一条记录,如果键不存在,则更新失败

对应方法是:replace(key,value)

  • 更新一条记录,如果键不存在,则新增一条记录

对应方法是:set(key,value)

  • 更新多条记录,如果其中有不存在的键,则将对应的键值对新增到数据集中

对应方法:set_multi({key1:value1...})

具体实例代码如下:

  1. def __update_default(self): 
  2.     ""
  3.     更新数据,包含:replaceset、set_multi 
  4.     :return
  5.     ""
  6.     # 1、使用replace更新一条记录 
  7.     # self.mc.replace("name","xag1"
  8.     # self.__query_one("name"
  9.  
  10.     # 2、使用set更新记录,如果key不存在,则添加一条记录 
  11.     # set = replace + add 
  12.     # self.mc.set("name""xag2"
  13.     # self.__query_one("name"
  14.  
  15.     # 3、使用set_multi更新多条记录,如果其中有不存在的key,则新建一个键值对 
  16.     self.mc.set_multi({"name""xag3""age": 28}) 
  17.     self.__query_many(["name""age"]) 

4、追加操作

追加操作相当于修改某一个键的值,在头部或者尾部追加数据

其中:

  • append(str):在尾部追加一段数据
  • prepend(str):在头部新增一段数据

实践代码如下:

  1. def __update_append(self): 
  2.     ""
  3.     追加更新,包含:append、prepend 
  4.     :return
  5.     ""
  6.  
  7.     # 1、append 
  8.     # value尾部追加内容 
  9.     self.mc.append("name","我是新增的内容"
  10.     self.__query_one("name"
  11.  
  12.     # 2、prepend 
  13.     # 头部新增内容 
  14.     self.mc.prepend("name","头部新增的内容"
  15.     self.__query_one("name"

5、删除操作

和查询操作类似,删除操作同样支持单个键值对的删除和多个键值对的删除

  • delete(key):删除某一个键值对
  • delete_multi(keys):删除列表中所有的 Key 对应的所有键值对

对应的操作代码如下:

  1. def __delete(self): 
  2.     ""
  3.     删除数据,包含:delete、delete_multi 
  4.     :return:delete_multi 
  5.     ""
  6.     # 1、delete 
  7.     # 删除单条键值对 
  8.     # self.mc.delete("age"
  9.     # self.__query_one("age"
  10.  
  11.     # 2、delete_multi 
  12.     # 删除多条记录 
  13.     keys = ["name","age"
  14.     self.mc.delete_multi(keys) 
  15.     self.__query_many(keys) 

4.最后

本篇文章通过 Python,实现了对 Memcached 数据的常规操作,更多复杂的操作可以点击阅读原文去查看

 

责任编辑:武晓燕 来源: AirPython
相关推荐

2020-09-24 06:49:34

PythonRedis

2020-09-29 08:35:08

MongoDBPython数据

2021-08-11 12:07:12

PythonPgSQL数据

2023-07-31 08:21:22

语法校对器Pick

2022-02-09 15:23:41

大数据流计算Spark

2021-03-16 10:12:24

python内置函数

2024-01-31 23:22:35

vaexPython

2022-07-15 08:45:07

slotVue3

2023-09-25 13:19:41

pandasPython

2023-12-12 11:06:37

PythonPandas数据

2017-09-13 15:05:10

React前端单元测试

2017-09-10 17:41:39

React全家桶单元测试前端测试

2018-12-07 14:50:35

大数据数据采集数据库

2020-11-02 15:56:04

大数据数据库技术

2023-09-25 10:16:44

Python编程

2017-07-21 14:22:17

大数据大数据平台数据处理

2015-12-10 21:31:19

七牛数据处理架构变迁

2013-12-16 17:17:01

OpenMp数据处理

2021-07-20 15:37:37

数据开发大数据Spark

2024-02-22 10:14:40

Filter函数Python
点赞
收藏

51CTO技术栈公众号