发布于：2020-04-01
为什么需要零拷贝 传统的Linux系统的标准I/O接口（read、write）是基于数据拷贝的，也就是数据都是copy_to_user或者copy_from_user 这样做的好处是，通过中间缓存的机制，减少磁盘I/O的操作，但是坏处也很明显，大量数据的拷贝，用户态和内核态的频繁切换，会消耗大量的CPU资源，严重影响数据传输的性能 以下是一个原始数据拷贝操作的例子，假如一个应用需要从某个磁盘文件中读取内容通过网络发出去，其过程需要经过以下4个步骤，整个过程涉及2次 CPU拷贝、2 次DMA拷贝总共4次拷贝，以及4次上下文切换。 read(file_fd, tmp_buf, len); …...
发布于：2019-06-20
BASE理论 BASE理论是Basically Available(基本可用)，Soft State（软状态）和Eventually Consistent（最终一致性）三个短语的缩写，由eBay架构师提出的，BASE是对CAP中一致性和可用性权衡的结果，其来源于对大规模互联网分布式系统实践的总结，是基于CAP定律逐步演化而来。 其核心思想是即使无法做到强一致性，但每个应用都可以根据自身业务特点，才用适当的方式来使系统打到最终一致性 BASE思想的主要实现有： 按功能划分数据库 sharding碎片 基本可用（Basically Available） 基本可用是指分布式系统在出现故障的时候， …...
发布于：2019-06-15
CAP定理 CAP定理（CAP theorem）,又被称作布鲁尔定理（Brewer’s theorem）,指的是在一个分布式系统中，Consistency（一致性）、 Availability（可用性）、Partition tolerance（分区容错性）这三个基本需求，最多只能同时满足其中的2个。 CAP的具体定义： Consistency（一致性）：指数据在多个副本之间能够保持一致的特性,一般特指写操作之后的读操作，必须返回该值。举例来说，某条记录是 v0，用户向 G1 发起一个写操作，将其改为 v1。 Availability（可用性）：指系统提供的服务必须一直处于可用的状 …...
发布于：2019-06-08
什么是设计模式 设计模式是一套被反复使用、多数人知晓的、经过分类编目的、代码设计经验的总结 使用设计模式是为了可重用代码、让代码更容易被他人理解并且保证代码可靠性。 设计模式七大原则 开闭原则OCP（Open Close Principle） 一个软件实体应当对扩展开放，对修改关闭。即软件实体应尽量在不修改原有代码的情况下进行扩展。 在设计一个模块的时候，应当对这个模块可以在不被修改的前提下被扩展。换言之，应当可以在不必修改源代码的情况下改变这个模块的行为，在保持系统一定稳定性的基础上，对系统进行扩展。 为了满足开闭原则，需要对系统进行抽象化设计，抽象化是开闭原则的关键。在很多面向对象编程语言 …...
发布于：2019-01-05
分布式事务 在分布式系统中，为了保证数据的高可用，通常，我们会将数据保留多个副本(replica)，这些副本会放置在不同的物理的机器上。为了对用户提供正确的增\删\改\差等语义，我们需要保证这些放置在不同物理机器上的副本是一致的。 分布式事务是指会涉及到操作多个数据库的事务。其实就是将对同一库事务的概念扩大到了对多个库的事务。目的是为了保证分布式系统中的数据一致性。分布式事务处理的关键是必须有一种方法可以知道事务在任何地方所做的所有动作，提交或回滚事务的决定必须产生统一的结果（全部提交或全部回滚） DTP模型和XA事务协议 DTP模型X/Open组织定义的分布式事务处理模型。XA是DTP定义的 …...
发布于：2017-03-02
事务隔离与并发控制 事务隔离定义了数据库系统中一个事务中操作的结果在何时以何种方式对其他并发事务操作可见。 并发控制描述了数据库事务隔离以保证数据正确性的机制。为了保证并行事务执行的准确执行，数据库和存储引擎在设计的时候着重强调了并发控制这一点。典型的事务相关机制限制数据的访问顺序以满足可序列化和可恢复性,限制数据访问意味着降低了执行的性能，并发控制机制就是要保证在满足这些限制的前提下提供尽可能高的性能。 两阶段锁是关系数据库中最常见的提供了可序列化和可恢复性的并发控制机制。为了访问一个数据库对象，事务首先要获得这个对象的锁。对于不同的访问类型（如对对象的读写操作）和锁的类型，如果另外一个事务 …...
发布于：2016-05-01
ACID理论 ACID，是指数据库管理系统在写入或更新资料的过程中，为保证事务是正确可靠的，所必须具备的四个特性：原子性（atomicity，或称不可分割性）、一致性（consistency）、隔离性（isolation，又称独立性）、持久性（durability）。 在数据库系统中，一个事务是指由一系列数据库操作组成的一个完整的逻辑过程。例如银行转帐，从原账户扣除金额，以及向目标账户添加金额，这两个数据库操作的总和构成一个完整的逻辑过程，不可拆分。 原子性(Atomicity) 一个事务中的所有操作，或者全部完成，或者全部不完成，不会结束在中间某个环节。 通常一个事务关联的操作具有共同的目 …...