123
 123

Tip: 看不到本站引用 Flickr 的图片? 下载 Firefox Access Flickr 插件 | AD: 订阅 DBA notes --

2018-02-02 Fri

18:44 遇见未来 | 超融合如何兼顾企业的"敏态"和"稳态"的业务需求 (10681 Bytes) » Oracle Life

作者:enmotech 发布在 eygle.com

超融合的概念自2012年被提出到现在,经历了6年的时间。其技术已经从最初的以存储的融合为重点,经历过计算、存储、网络的全面融合,到现在,重心落在云计算平台的交付,整个技术趋于成熟。

今天我们有幸邀请到青云QingCloud青立方产品总监廖洋(Lester)老师,请他分享青云在超融合的技术和产品上所做的一些尝试,我们一起来学习超融合的发展现状和未来方向,以及超融合是如何兼顾企业的"敏态"和"稳态"的业务需求的。

遇见未来---未来数据中心的建设战略之超融合


1、自我介绍,团队介绍

廖洋(Lester Liao),青云QingCloud青立方产品总监。15年IT行业从业经验,专注于存储及云计算产品,对超融合系统、SAN存储、分布式存储系统、虚拟化、云计算等领域有较深入的研究。

目前团队的工作重心主要在青云QingCloud的硬件产品线--"青立方",包括青立方超融合一体机、青立方对象存储一体机和青立方NeonSAN一体机等。团队涵盖以上产品线的硬件设计、云平台及存储集成、测试与服务等产品技术人员。

2、作为超融合领域资深的专家,请您简单介绍下超融合技术的发展历程和现状,它主要帮助用户在数据中心建设中解决什么样的问题和痛点,以及其最佳应用场景

超融合(HCI :HyperConverge Infrastructure)最初是借鉴了Google、Facebook等互联网公司的技术,通过产品化的包装,导入到企业级IT市场。2012年美国Nutanix公司提出超融合的概念至今已有6年的时间。

市场上的超融合产品至今也经历了三个阶段的发展。

  • 第一个阶段,融合1.0。重点在存储:以Nutanix为例,其产品刚推向市场的时候主要强调其分布式存储技术。从技术本身来看并没有什么创新,而主要的创新其实是在其部署架构上,即将VMware的虚拟机与分布式存储部署在相同的服务器上。这一阶段的主要价值是帮助用户从传统的集中存储架构切换到以软件定义存储为核心的分布式存储架构,简化了存储管理的复杂性,提高了存储的可扩展及利用率,从而降低了存储成本,并且在某些特定的场景中提供比集中存储更高的性能和可用性。

  • 第二个阶段,融合2.0,重点在于计算、存储、网络的融合,即将数据中心基础架构的三大件----计算、存储、网络实现软件定义,通过软件+通用服务器的方式,在同一个架构里进行交付。这一阶段的主要价值是:简化了用户对IT的管理,从计算、存储、网络三个层面实现横向扩展。

  • 第三个阶段,融合3.0,重点在于云计算平台的交付,实现应用(PaaS、SaaS等企业级应用)的横向扩展。青云QingCloud在2015年发布超融合产品时,就强调超融合不仅是计算、存储、网络等资源层面的问题,还要交付完整的云计算。

在第三个阶段以前,业界普遍认为超融合仅适用于面向互联网、横向扩展的分布式业务,而一些传统应用很难构建在超融合架构上。但是青云QingCloud提供的超融合一体机积累了大量公有云的实践经验,融合了多种创新技术来解决扩展性问题。

  • 在存储层面,青云不仅提供分布式存储(SDS 2.0),也提供NeonSAN共享块存储;

  • 在计算层面,青云不仅提供虚拟主机和容器主机,还提供物理主机,在统一架构上满足应用对基础架构的所有需求;

  • 在应用层面,QingCloud AppCenter能够实现应用的横向扩展。

这也是全模云的概念,即面向企业兼顾"敏态"和"稳态"的需求,为分布式和集中式业务架构进行云端部署提供一体化解决方案。企业用户可以根据自身业务特点灵活选择不同类型的云端资源,构建灵活、敏捷、高效的全模式业务系统,并实现统一管理。

3、超融合给用户带来的主要价值是什么呢?
  • 降低基础架构复杂度,易于管理;

  • 采用横向扩展方式,易于扩展;

  • 采用通用硬件,可降低成本;

  • 更加适合承载云计算业务,提高了性能;

  • 支持全模云,兼顾企业"敏态"和"稳态"的业务需求。(青云QingCloud独有的价值)

4、目前市面上比较流行的超融合技术派系及其优缺点分析

  • 第一类是传统IT厂商,他们的产品更关注硬件层面的融合,软件层面一般采用开源技术,缺乏自己的核心技术;

  • 第二类是专注软件定义存储的IT厂商,他们将以往的软件存储方案加上计算,以超融合一体机的形式交付。但是产品成熟度较差,在功能、可扩展性和稳定性上还有待提升;

  • 第三类是云计算厂商,把云计算技术,通过超融合一体机的形式,形成私有云的交付。以青云QingCloud为例,从软件层面来看,不管是公有云、私有云还是混合云,青云QingCloud采用统一的代码、自研的技术,核心代码自主可控。因此无论从需求自定义还是产品更新迭代的能力上,都优于开源软件。从硬件层面,青云QingCloud对底层硬件持开放态度,兼容各种主流硬件,不存在硬件绑定。成熟度、稳定性,自研、定制化,兼容性,技术演进路线清晰。

5、目前超融合技术涉及到的似乎都是IaaS层面,也就是都只在基础架构上,那么未来会朝着什么方向发展呢,会上升到PaaS层吗?

上面融合3.0里有提到应用层面的扩展,不仅是PaaS,也有SaaS,主要通过QingCloudAppCenter实现。

6、在IT的管理维护上,数据架构的高可用与安全总是备受关注的两个问题,请您简单介绍下贵公司的超融合产品在实现高可用和数据保护上,都有哪些具体的方案,达到的效果如何?

首先从管理架构上看,青云QingCloud支持计算、存储与管理节点分离的部署模式,从而在高可用和安全性上达到高可靠性。其次是P2P运维机器人系统,能够自动处理各类硬件故障、数据中心级的灾难等。此外,青云的高可用和数据保护可以细致到"卷"的级别,这是很多超融合厂商无法做到的。同时,青云QingCloud支持各种容灾级别,如同步复制、异步复制、同中心三副本、异地副本等,都可以自定义。

7、在您看来,超融合技术会朝着什么样的方向发展呢? 在贵公司下一步产品在超融合这些方面进行哪些优化?

接下来,青立方超融合一体机将做到更精简的交付。我们现在最小可以做到两台服务器交付,未来从交付规模上会做到更小的集群交付。随着业务规模的不断扩展,能够从1-2台的小规模扩展到上百万台的大集群,或者从易捷版(Express)扩展到高级版、企业版,都是完全平滑的过渡方式。为企业提供从基础的计算虚拟化到企业级的私有云,一条完整通畅的数字化转型路径。

跨界与融合、机遇与挑战、个人与企业、现在与未来。让各行业、企业,以及每一个向未来而努力的人,听见时代最前沿的声音,见证成长!

相关文章|Related Articles

18:42 遇见未来 | 对话叶毓睿:人类文明运行在软件之上 (16470 Bytes) » Oracle Life

作者:enmotech 发布在 eygle.com

互联网及其延伸,正在导向我们走向一个新的时代,软件技术在新一轮革命技术中毫无疑问是核心竞争力之一。C++语言发明人Biarne Stroustrup说,人类文明运行在软件之上,也突出了软件技术的重要地位。

什么是软件定义?软件定义在企业的数据中心中的表现是什么?如何发展这项技术?今天我们有幸邀请到了VMware存储架构师Peter Ye(叶毓睿),分享他关于软件定义存储的深刻见解。

遇见未来
未来数据中心建设战略之软件定义专访

作者及其团队介绍

1

PeterYe(叶毓睿),现任VMware存储架构师,《软件定义存储:原理,实践与生态》作者,《VMware软件定义存储:原理剖析和设计指南》译者。曾任职于EMC、Compellent、DELL,对存储行业的历史发展和未来趋势有着深入的了解。Peter同时也是"乐生活与爱IT" 微信公众号的作者。

软件定义存储的概念提出是基于什么样的背景,主要帮助用户在数据中心建设中解决什么样的问题和痛点?

2

软件定义存储(SoftwareDefined Storage,简称SDS)的首次提出是在2012年8月VMworld大会上,此次大会同时提出了软件定义的数据中心(Software Defined Data Center,简称SDDC),SDS是SDDC的五大组成部分之一。

我在《软件定义存储:原理,实践与生态》一书中,曾指出:软件定义的存储(SDS)是一个不断进化的概念,在现阶段看来,是指存储资源由软件自动控制,通过抽象、池化和自动化,将标准服务器内置存储、直连存储,外置存储,或云存储等存储资源整合起来,实现应用感知,或者基于策略驱动的部署、变更和管理,最终达到存储即服务的目标。

用户在传统数据中心建设中,大多是烟囱或竖井架构,也就是每上一套业务应用,需要申请和采购包括服务器、网络和存储在内的IT基础架构硬件,这使得用户在数字化转型的时代,IT基础架构的资源无法共享,存储资源无法动态扩展,即刻交付。SDS是在虚拟化已经渗透到各行各业,云计算逐渐普及的大环境下,孕育而生的。

软件定义经历了哪些发展过程,目前的应用现状以及其最佳应用场,还面临哪些挑战?
3

软件定义为云而生,通过抽象、池化、自动化等步骤,实现IAAS(基础架构即服务),帮助用户共享计算网络和存储资源池,并能实现动态扩展,即刻交付和方便地变更资源,以动态地适应某一业务在不同时间段对于资源的SLA(服务等级协议)的要求。

目前SDS包括分布式存储,分布式存储有两种部署形态,一种是计算和存储相分离的,另一种是计算和存储融合在同一个物理服务器节点上,也即超融合基础架构。分离部署的方式,在大规模存储资源池化,存放非结构化数据(如文档,图片,音视频等)的场景中,应用较为广泛。而超融合架构中,较多使用的场景包含VDI、集群管理、ROBO(远程分支办公室)、开发测试、备份与灾难恢复。除此之外,由于VMware vSAN依托于vSphere ESXi这一稳定可靠的Hypervisor,并且自身拥有故障域、双活(延伸集群)、而且支持vMotion/HA/FT等功能,使得越来越多的用户将关键应用(如Oracle RAC、SAP、SQL Server等)放在了VMware vSAN上,根据2016年的数据统计,有64%的vSAN用户,将其关键应用放在vSAN上。

软件定义存储相比较传统存储理念,有哪些主要的特点和优势?

4

在数据平面层涌现出可以采用基于标准商用硬件(如X86服务器)的分布式存储或者HCI,降低了成本;控制平面层向上提供了存储自动化(如存储策略驱动)的资源部署和变更方式,使得云计算所需的存储资源即刻交付成为可能。软件定义存储中的大类:HCI使得数据靠近计算,能让SSD的性能发挥得淋漓尽致,性能更高,延时更低。

软件定义存储的技术如何解决传统存储的挑战:信息孤岛,供应商绑定,扩展性的问题的?

5
  • 第一步是抽象,也即解耦,因为如果硬件被锁定,存储资源无法被灵活调用;

  • 第二步是池化,也即虚拟化,这样才能随需分配,动态扩展;

  • 第三步是自动化,存储资源由软件(Hypervisor或云管理软件)来自动分配和管理。

经由抽象、池化和自动化,打破了信息孤岛,也不再被供应商绑定,并支持动态扩展的。

软件定义存储如何实现数据保护,高可用和数据去重等?

6

在数据平面层的分布式存储或者HCI,大多是通过类似互联网分布式计算,也即多副本的方式来提供数据冗余,另外也有通过双活(如vSAN 延伸集群)来提高可用性。为了解决存储利用率,也有采用EC(纠删码)和去重压缩的技术。

软件定义存储与存储虚拟化技术的区别?

7

软件定义存储包含了存储虚拟化,简单理解,可以认为软件定义存储=存储虚拟化+自动化,其实就是SDS的三步曲:抽象、池化和自动化。详见《什么是存储虚拟化?它与软件定义存储有何区别?》

软件定义存储与软件定义网络有哪些共性,前者受到后者哪些影响?

8

都包含了控制平面和数据平面。软件定义这个词汇最早就是来源于软件定义网络(SDN),核心是控制平面和数据平面解耦,SDS在这一部分上收到了SDN的影响。

现在软件定义的概念越来越火,在很多个领域都出现一些产品和解决方案,您如何看待软件定义技术的发展呢?软件定义网络,软件定义计算,软件定义数据中心,这真的会是数据中心的未来吗?

9

软件定义的出现,是虚拟化已经渗透,云计算逐渐普及的大环境下,对于基础架构层的迫切需求,打破了以往烟囱或竖井架构,使得资源能够池化并自动化地被部署。迄今为止,云计算,尤其是私有云的最佳实践方式就是软件定义的数据中心,而且这个过程会持续很长时间,直至用户迈向混合云。因此,毫无疑问,SDDC是数据中心的未来。

有人说,人类文明终将会运行在软件之上,那么对于硬件厂商来说,面临什么样的挑战和机遇呢?如何正确地认识软件和硬件的关系,以及硬件在未来数据中心的地位?

10

人类的文明运行在软件和硬件结合的环境之上。实际上,正是因为硬件技术的突飞猛进地发展,才使得软件定义有了腾挪的空间。早期,为了大规模生产,降低制造的复杂度和成本,许多功能都固化在硬件里,我们可以称之为硬件定义。随着日益增长的灵活性、自动化、多样化、个性化定制的需求,由软件来操控硬件资源的情况将越来越多、越来越广。然而,软件操控硬件的前提是,硬件的能力(例如性能、容量等)需要有富余。所以,硬件发展越快,软件定义的发展才会更有潜力。另外,软件的发展反过来也会影响硬件的发展,例如虚拟化软件对芯片指令集的影响,分布式存储软件对网络的影响。

软件定义技术的发展与企业IT系统的云化有什么样的关系,软件定义将会给企业的云战略,或者云战略会给软件定义数据中心带来什么影响?企业该如何正确地看待未来数据中心的变革与方向?

11

前面提到,软件定义为云而生。所有企业,在云战略上,如果考虑混合云或者私有云,都必须认真思考如何利用现有的最佳实践,也即软件定义的数据中心来使云战略落地。

VMware在软件定义存储方面有哪些主要的产品和解决方案,以后的战略方向是什么样的呢?
12

VMware的软件定义存储主要分为两大部分,如下图所示。

1)控制平面,即Storage Policy Based Management(基于存储策略的管理),简称SPBM。

数据平面,即Virtual DataServices。分别有三个子类构成:Virtual SAN,VirtualVolumes和Cloud/Object Storage。

软件定义将会给企业带来什么样的价值?
13

降低成本、提升性能、管理简单灵活、扩展方便、即刻交付符合一定SLA标准的存储资源。

在目前的市场上,软件定义存储有很多不同的解决方案,这些方案在系统架构设计和实现上有很大的不同之处,那么未来会朝着什么样的方向发展呢?
14

未来可能出现的软件定义存储,可大致分为如下六类:

1)与Hypervisor融为一体的SDS厂商,也即前述的VMware、Microsoft等。

2)与应用融为一体的超融合架构设备,通常俗称一体机。

由于针对某一类特定业务,其工作负载相对固定,也比较容易在存储曾针对这一特点进行优化,例如针对数据库的有:云和恩墨、天玑数据、沃趣(已被华胜收购)、成都文武信息等;针对VDI的一体机;针对SAP的一体机;并行数据库一体机 (如MonDb), 数据分析一体机 (Greeplum),也许未来还会有针对Exchange的、针对SQL Server的一体机;从业务应用来看,也许还会有针对视频监控,针对媒资管理等,针对某一行业的某一类应用。

3)拥有某一项或几项出色功能的新SDS厂商。虽然没有与Hypervisor或者应用融合。但靠着它的独特或先进的功能,依然赢得用户的青睐;

4)针对云平台或者Hypervisor生态链,专注某垂直领域的SDS厂商,例如针对AWS的SoftNAS,针对vSphere的Tintri;现阶段针对Hypervisor进行拓展和优化的,应该有不少生存空间;针对公有云的,可能在晚些年陆续出现更多的初创厂商。

5)传统外置磁盘阵列的转型尝试,如HP StorVirtual、EMC vVNX、NetApp OnTap Edge等。

6)云计算公司的的转型尝试,如公有云提供商青云推出超融合一体机等。

7)包括冷存储在内的对象存储。

初期,必须围绕着数据平面下功夫,提供稳定性和可靠性,甚至可能针对业务应用进行优化;将来,数据平面同质化后,应该开始向控制平面层对接,以更好的为存储自动化服务。

跨界与融合、机遇与挑战、个人与企业、现在与未来。让各行业、企业,以及每一个向未来而努力的人,听见时代最前沿的声音,见证成长!

相关文章|Related Articles

18:37 遇见未来 | 对话朱贤文:PostgreSQL是一匹即将发力的黑马 (23392 Bytes) » Oracle Life

作者:enmotech 发布在 eygle.com

在2017年的DB-Engine的年度数据库榜单上,PostgreSQL以其超过其他341个受监控数据库管理系统的受欢迎程度居于榜首,被评为年度DBMS。其总体排名也超过MongoDB,在其流行程度上排名第四。

PostgreSQL是DB领域的一匹黑马,之前一直默默活在MySQL的阴影之下,今年随着 10.0版本的发布,Declarative Partitioning的引入,改进的查询并行性,逻辑复制和同步复制的Quorum Commit ,PostgreSQL 10 的影响力在不断的增强。

今天我们有幸邀请到了PostgreSQL的专家朱贤文老师,为我们分享PostgreSQL的核心技术、发展现状及未来方向。

遇见未来
DB舞台谁是王者之PostgreSQL专访

1、自我介绍,团队介绍

我是朱贤文,是成都文武信息技术有限公司的总经理、创始人。我入IT行业接近20年,主要熟悉数据库、存储和集群这些IT基础架构比较底层的技术;在这之前,曾在Oracle,Veritas,IBM等公司工作,做研发的经验主要在Oracle RAC和Storage和集群,涉及的技术比较底层。

我们是一个创业团队,现阶段不到20人,我们专注在PostgreSQL数据库的商业解决方案及和技术服务,产品和方案;比如集群、容灾、备份,咨询等。

我们有一套自研的专门用于数据库的高性能私有云系统,支持PostgreSQL和Oracle数据库高效可靠地运行。

2、作为PostgreSQL领域资深的专家,请您简单介绍下PostgreSQL技术的发展历程

实在不敢当专家的称号,我只是对PostgreSQL熟悉一点罢了。

PostgreSQL是一个非常先进的、有很多高级特征、企业级功能非常丰富的开源数据库,在金融、银行、电信、生产制造等行业有非常多的成功案例。

PostgreSQL的发展历程

PostgreSQL的前身是美国国防部与UC Berkeley大学合作的一个研究项目,叫Ingres,起源于1973年;1985年研究项目终止,随后开源,并且命名叫Postgre,随后又改名为Postgre95;1996年因为加入了完整的SQL92标准支持,为了强调对SQL的支持,所以更名为PostgreSQL,这个名字一直沿用到现在。到目前为止,其连续活跃的开发历史已超过32年,算上Ingres时期的开发历史,项目实际上接近45年连续开发。

PostgreSQL的发展,经历了几个重要的版本

  • 从8.0开始,逐渐增加了众多的企业功能,包括写日志,表分区,物理同步复制,物理异步复制,逻辑复制,在线热备份,并行查询。

  • 目前最新版本为10.1,完善了表分区和hash表功能。

PostgreSQL的特点

  • PostgreSQL数据库的跨平台特性非常强,支持几乎所有的操作系统和CPU硬件平台,如AIX,HPUX,Linux,BSD,Windows等。

  • PostgreSQL的开发是由社区驱动的,各种高级先进的特性主要来自于用户的反馈和需求;社区的成员来自于全球的商业公司,高校,研究机构等,开发和发行过程非常严谨,产品代码质量非常高。目前国内有很多公司基于PostgreSQL数据库开发自己的商业产品。

还有一些明显的特点包括:比如非常丰富的数据类型,丰富的开发接口和编程语言的支持,丰富的索引类型,很多的企业级高级特性等等,都能够满足绝大多数企业级应用的要求。

PostgreSQL的发展

PostgreSQL数据库的支持跟商业数据库一样,从6.3开始,每一个发行版本社区都会支持5年,这个传统从1998年开始,马上也进行了20年了。

从国内使用情况来看,现在PostgreSQL的影响力越来越强,越来越多的专业用户将PostgreSQL用在他们的业务系统中,比如中国平安,中国移动,联通,互联网包括去哪儿,腾讯,阿里。

从生态区和支持这个方面来说是越来越完善,现在有华为,腾讯,阿里以及我们成都文武信息在内的专业公司,对其提供商业支持和服务,并且基于它开发自己的高性能数据库。

3、在PostgreSQL 10版本中,您最关注的新特性和技术点包含哪些?或者您认为最重要的变化?

PostgreSQL 10版本中,新的特性比较多,下面只列出部分,详细的部分可以参考官方Wiki:https://wiki.postgresql.org/wiki/New_in_postgres_10

  • 大数据处理:原生分区,并行执行,FDW下发/push-down,更快的查询支持;

  • 复制和很横向扩张:逻辑复制,同步复制实现Quorum Commit-类Raft的部分功能,临时复制slots支持,连接层的failover和routing,加强的物理复制;

  • 系统管理:pg_receivewal支持压缩,pg_stat_activity有了专门的后台处理进程等;

  • SQL功能:Identity Columns,Crash Safe,Replicable HashIndexes,Transition Tables for Triggers;

  • XML和JSON:支持XMLTable,JSON和JSONB的全文搜索

4、PostgreSQL 的最佳应用场景是什么?有哪些比较成功的案例实践?目前市场需求如何?

个人认为PostgreSQL适合对性能、可靠性、业务连续性要求非常高的企业级OLTP应用,以及小规模OLAP应用,比如数据量小于50T的OLAP系统。

现在国内可以参考的案例还是非常多,比如平安集团有1500多个实例部署;乐友母婴用品店,核心的数据库系统是一个接近10T的PostgreSQL在线数据库支撑全国的业务;除此外,还有探探、去哪儿网、百度地图等,都有很大的PostgreSQL部署量,高效可靠地支撑业务系统;还有一些传统行业,如浙江移动,湖北移动,中国联通等。

根据我知道的信息,市场对PostgreSQL数据库的需求一直都是高速增长的,增长的量主要集中在两个方面:

  • 一方面是新建的对可靠性、业务连续性要求高的OLTP系统,越来越多的用户将PostgreSQL作为优先选择的数据库;

  • 另一方面是数据量小于50T的小型OLAP业务系统,很多用于会优先选择PostgreSQL作为分析引擎。

这种需求最近一两年表现尤为明显。

5、您是否可以简单介绍下互联网模式下,PostgreSQL 数据库的高可用架构有哪几种模式?

  • 第一种跟其它数据库的高可用架构基本上一样,就是采用共享存储模式,数据库存放在共享存储上;一台主机,一台备机;正常情况下,主机连接存储启动数据库对外提供服务;当主机故障,备机接管存储,并且启动数据库,继续对外提供服务;这种架构的好处就是数据是专门的存储提供保护,不用担心丢失,切换服务的时间需要集群管理软件决定,一般来说基本中就可以完成切换;

  • 第二种是基于流复制的高可用架构,这里面有几个发展的阶段,

(1)第一个阶段是基于对PostgreSQL WAL日志文件的复制,这个方式目前基本上很少用了;大致的工作原理是集群内一个主库一个备库,当WAL日志归档后,这个文件同时拷贝到备库;备库始终处于恢复状态,接收到主机拷贝过来的WAL日志文件,立即恢复到备机;当主机宕机,备库立即切换模式,恢复成主库对外服务;

(2)第二个阶段是物理复制----流复制,主库正常工作,所有提交的事务除了写在本地的WAL日志文件,同时还会将数据通过网络传输到备库。通过控制对网络上数据传输时间的确认,可以分为异步复制和同步复制,这两种复制方式会涉及SLA定义的RTO和RPO等指标,同时也涉及到系统性能。

(3)目前的阶段是物理流复制方式比较丰富的阶段。在以前的复制方式上,对同步复制的控制手段很少;现阶段不仅可以控制集群内有多少台同步复制,而且可以控制数据提交成功的确认方式,例如在多少个同步复制节点提交成功、以什么样的方式在同步节点上提交成功,first n, any n等比较细粒度的控制复制成功时确认信息的行为;同时也可以比较细粒度地控制复制过程中的性能,比如发送到备库的buffer确认,还是备库写入wal确认,还是备库需要replay确认等......

  • 第三种是逻辑复制。逻辑复制的好处比较多,比如可以跨平台跨操作系统,可以控制需要复制的表而不是整个库进行部分数据的复制,比如用于OLAP分析系统的数据同步;也可以用于做不停机的业务系统升级。

另外说一点就是PostgreSQL可用的高可用方案比较丰富,有开源的方案比如pgpool,也有一些商业的解决方案,比如我们公司的ECOX系统。客户在设计和选用高可用方案的时候,严谨的生产系统最好要购买专业的服务。我们是国内比较好的服务团队并且能提供完整的解决方案跟相关技术。

6、请您介绍一下PostgreSQL中目前比较成熟并且流行的存储引擎和他们的使用场景吗?

PostgreSQL不像MySQL数据库那样有很多存储引擎。PostgreSQL只有一种存储引擎,对事务处理非常严谨严肃,主要用于高性能的OLTP业务场景。同时也可以用于小型的OLAP分析型业务场景。

7、PostgreSQL数据库在向着自动化运维的方向发展的过程中,面临的最大的挑战是什么?如何克服?

PostgreSQL数据库,不像我们常用的Oracle数据库,如果参数设置得当,应用设计也比较好,这种情况下其实不需要太多的维护;

对于PostgreSQL来说,反而是需要将精力放在存储子系统的可靠性,备份等方面。

存储子系统的可靠性需要仔细地设计,因为它不仅关乎系统性能,也关乎数据本身存放的可靠性。如果是严谨的商业应用,建议优先选用可靠的存储系统和文件系统;我们作为有丰富实施经验的专业厂商,我们会推荐用户优先选用ZFS,特别是原生的ZFS,这个领域我们有完整的方案。

8、PostgreSQL数据库与其他开源数据库相比较的优势

相对于其它数据库而言,PostgreSQL的优势是非常明显的,比如:

  • 有庞大的潜在的开发群体、运维群体和完整的生态;因为Oracle的生态系统非常完善和成熟,熟悉Oracle技能的人迁移到PostgreSQL数据库上的学习曲线非常平滑,成本非常低。根据我自己的经验,基本上2周时间可成。

  • 有大量的银行、电信、保险、政府等行业的关键业务应用案例和知名客户。

  • 有丰富的开发接口和开发语言支持,丰富的数据类型,支持传统的关系型数据和非关系型数据。对GIS非常好,对JSON,JSONB,XMLTable支持非常好。

  • 非常丰富的fdw扩展,几乎可以支持所有的外部数据源和数据库。

  • 非常先进的企业级特性,比如复制,分区,在线热备份,非常丰富的索引、函数等。

  • 非常优秀的跨平台、跨操作系统支持。支持几乎所有的硬件平台和操作系统。大到mainframe,小到嵌入式系统。

  • 高品质的代码,优雅的设计,非常长时间的、持续活跃的开发历史。

  • 每个发行版本都能获得为期5年的产品支持。

当然也有需要完善的地方,比如:

  • 宣传不到位,现在还有很多用户不清楚、甚至不知道PostgreSQL是一个生么样的数据库。(这一点会导致用户选用技术线路失误,从而导致后面的应用系统开发和维护成本很高。)所以应该加强PostgreSQL数据库的培训和宣传。

  • 国内从事PostgreSQL的服务商比较少,高质量的专业服务商更少。

  • 技术上目前还不支持块级别的增量备份和恢复(这个功能已经在线路图上,很快会有)

9、可以请您谈一下对 OceanBase数据库的认识和看法吗?

OceanBase是一个非常有特点的数据库,全新的设计,也在高性能,高可靠性方面有比较好的表现,17年双11表现的每秒处理26万多笔交易的威力(性能)大家也见识过了。

OceanBase的主从数据库

在传统的数据库主从架构中,比如(Active)DataGuard,主库对外提供全功能的读写服务,从库对外提供只读服务,主库到从库通过流复制技术使数据保持同步;

在OceanBase中,也有主和从的概念,复制也是主到从,与传统数据库不一样的是这个数据库的主、从概念是建立在分区表的分区上,每个表有多个分区,所有节点都可以有全部或者部分分区,分区有多个副本,分布在集群内的其它节点上,副本可以看作是是从,只接收主上面的日志,并且回放到内存里,一个可以读写的分区就是一个主;一个主可以有多从,确保数据有多份拷贝,主到从的日志传输通过Paxos协议完成,确保数据可以正确传输到其它节点;

整个集群对外来看,所有节点都是读写的、全功能的,比传统数据库优势明显,因为多活,负载均衡可以实现比较好,可以用低廉的硬件实现高性能、高可靠的系统;

仔细观察集群内部,由很多表的不同分区及它们的副本构成非常多的主从复制,所有的日志数据复制基于Paxso协议,能够保证任何节点损坏都不会有数据丢失的危险(当然节点坏掉的个数不能大于节点总数的一半)。

OceanBase另外一个比较有意思的设计就是类似于传统数据库中的check_point的处理,传统数据库的check_point时间根据负载和SLA的一些要求,一般保持在几分钟到半个小时之间,数据库要做一次check_point,以确保数据库的数据一致性;而OceanBase数据库把传统数据库类似check_point功能的操作周期做得非常长,比如一天做一次数据整合(类似于传统数据库的check_point操作);这样做有好处,就是对SSD这种新型电子磁盘的寿命有帮助,因为对SSD的操作都是大片大片的、整块地删除、写入,尽量避免SSD内部的写放大,这个设计的前提是基于服务器有非常大的内存配置,比如256G、甚至1T,现在的机器内存配置都比较大,很容易配置大内存的集群,那么把数据库的data buffer做到足够大,数据库所有的操作都在内存里,相当于一个准内存数据库,比操作磁盘的IO要快很多;通过这些设计,非常合理地避免了全分布式、高可靠、高性能并发和mvcc之间的矛盾。

OceanBase的设计非常聪明,它的出现的确给了我耳目一新的感觉,不管是技术上的创新,架构上的创新,技术来源,都是值得大大地给一个赞,说到技术创新、架构创新,我们的鸿鹄彩云系统就是为高性能数据库业务设计的,里面也有很多可以让人感觉耳目一新的技术创新的点,希望更多的人可以尝试试用;

当然一个新事物的出现需要一个时间完善和成长/成熟的过程,对于OceanBase来说目前也需要有完善的地方,比如技术上与现有的用的广泛的Oracle的兼容性,跨库交易等,关键行业的成功的应用案例等,让我们多给它一些时间,多给一些耐心;(当然我对OceanBase的了解也比较有限,可能有很多技术特点没有讲到,请包涵)

10、近几年随着大数据时代的到来,NoSQL数据库在处理海量数据上表现出越来越多的优势,请问您如何看待数据库的未来,会朝着什么样的方向发展?

从数据本身来说,真实世界里生产的95%以上的数据都是关系型的,只有很少的数据是非关系型的。

所谓的NoSQL是Google在很多年提出来的处理大数据的一个技术方案,主要使用的思想就是Map/Reduce,学过数据库的人都应该了解,这项技术实际上在上个世纪60年代,在大型机上处理大量计算常用的技术思想。

Google最终推出了自己的Spanner数据库,结果是非常明显的,Google自己都不用NoSQL,而回到传统的SQL这个线路上面来,所以未来还会向SQL这个方向走。

11、PostgreSQL数据库未来将会如何演变,如何应对海量数据的实时处理需求?

PostgreSQL未来还是会持续、活跃地开发高品质的软件,并且根据市场需要提供满足市场的技术特性;国内的市场也会普及和成熟,用户也会接纳并且广泛地使用PostgreSQL数据库、并且从中受益。

应对海量数据的实施处理,可以选用高性能硬件,MPP架构的技术;以后也会有基于内存的MPP,甚至用GPU加速运算的数据库;但是最终还是需要看用户本身的需求和业务特点,根据这些进行有针对性的设计和实施,以满足这类需求。

跨界与融合、机遇与挑战、个人与企业、现在与未来。让各行业、企业,以及每一个向未来而努力的人,听见时代最前沿的声音,见证成长!

相关文章|Related Articles

2018-01-30 Tue

17:16 卡地亚蓝气球系列浪漫时尚又不失尊贵 (1505 Bytes) » dba on unix

卡地亚蓝气球系列的设计灵感主要是来源于人类关于飞行的梦想和尝试,1783年成功升空的蒙特哥菲尔蓝色热气球是人类第一个飞行器。挣脱了重力束缚越飞越远的蓝色气球幻化成凸圆表镜一侧美丽的蓝宝石表冠,承载了人类对于神秘美丽外太空的幻想和向往,以及爱情所带来的无限力量和勇气。难怪有不少的情侣都以蓝气球对表达彼此的感情至情不渝。

今天在这里要给大家介绍的就是卡地亚蓝气球系列的V6版。此款高仿表淡雅的白色表盘中央布置了剑型指针,一点湛蓝迷人心扉,极具优雅的视觉美感。同时,卡地亚蓝气球系列V6版采用大号的黑色罗马数字时标, 内圈则围绕轨道式小时刻度,和白色表盘在色彩上形成了鲜明的黑白搭配,彰显出尊贵的同时,还提升了整体的易读性。

此款高仿表的表盘上镀银珠光扭索雕纹起到了很好的点缀和观赏作用,在3点钟的位置上还设有鱼眼日历窗,因为受到日历窗的影响,轨道式刻度和镀银珠光扭索雕纹都往里面凹陷进去,因此,这也是此款高仿表的最大特别之处,给表迷们留下了极深的印象。