123
 123

Tip: 看不到本站引用 Flickr 的图片? 下载 Firefox Access Flickr 插件 | AD: 订阅 DBA notes --

2010-06-19 Sat

22:00 利用率问题 (3665 Bytes) » 知道分子
服务器利用率为多少才是最佳的?这个问题一直没有定论。

首先,利用率的内涵太过丰富,它既体现了供需关系,又反映了开发者的智商,还跟运维工作者的人品有着挥之不去或多或少的联系。其次,利用率的外延也颇为广泛,它既可以指占用空间的大小状况,也可以指标称性能的消耗程度。例如,500GB磁盘存了250GB数据,利用率50%。另外,该磁盘标称 IOPS 100,实际使用峰值达到62,利用率62%?而且利用率无时不在变化,瞻之在前,忽焉在后,难以把握。

总之,利用率是一个既笼统又具体的概念,没有一种算法可以将各个维度的利用率数值完全精确地投射到某个单一维度,从而得到稳定且横向可比的利用率综合数值。毋宁说,利用率这个词在写下之时就已经被打上了删除号。(参阅:德里达《论文字学》)

然而我们往往又忍不住想探究一下利用率问题,毕竟那一张张波澜起伏的趋势图,时刻喻示着其中潜藏的能力。即便不能削峰填谷,我们让所有服务器都运行在相近的利用率区间范围内,在保留一定冗余的前提下,尽可能充分利用所有计算资源,也能减少浪费,避免歧轻歧重。最大偏离度算法和切比雪夫定理,或许有助于我们立足现实,循序渐进地解决利用率不均匀问题。

比如,取一定周期内请求-反馈路径上主要的部件利用率和应用响应时间峰值,预先设定基准值,计算最大偏离度。假使某类应用主要消耗CPU和磁盘性能,预设健康基准值分别为CPU 70%、磁盘IOPS 70%、响应时间100ms,则最大偏离度计算公式为 MAX(ABS((响应时间-100)/100), ABS((CPU利用率-70%)/70%), ABS((磁盘IOPS利用率-70%)/70%))。按最大偏离度排序,即可得出优化路线图。

对于那些无法预设基准值的应用服务器,只能通过数据本身的分布情况来呈现问题。运用切比雪夫定理:在任何数据集中,超过平均数K倍标准差的数据所占比例至多为1/K^2。若要找出总数 6% 左右偏离度最大的服务器来进行优化,那么在各个主要消耗维度寻找利用率为 μ±4σ 区间范围开外的服务器,然后取交集或者并集即可。
08:30 上海归来 (347 Bytes) » 玉面飞龙的BLOG

上海世博会真让上海赚了个满,所有区域的宾馆的价格就是牛市中的股票一样,一天1个价格。前几天张江的如家还275,过了几天就330。
住如家的结果的就是,带回北京1堆虱子,发现被咬了N多疙瘩。这也说明服务行业有待发展。

上海虱子欢迎你。

08:18 从华友世纪到大头无线-王秦岱的思考 (5645 Bytes) » Oracle Life

作者:eygle 发布在 eygle.com

近从前同事那里得知,前老板 QD 在出售华友世纪之后,转入大头,一批华友旧人再次聚首,开始新的创业征途。
学习一下 王秦岱 先生对于这一路的思考,颇有所得。摘录来源


我和合作伙伴大多来自电信行业,对这一领域非常熟悉。我们的判断是,无线和宽带是未来的趋势。将无线与宽带加在一起,就是无线增值服务,于是就有了华友世 纪的方向:SP服务提供商。

但当时我们没有考虑到的是,这一商业模式的技术含量非常有限,SP行业没有核心竞争力、门槛低,以至于短短几年中国就有几万家SP公司破土而出。SP当时 所做的事情是,将内容从别处获得后,转换为手机适用的格式,再放到电信运营商的渠道上去。内容和渠道都不是SP企业能控制的。SP企业相当依赖运营商

。。。我们在纳斯达克上市,有了比较多的资金储备,此时有了将企业进行转型的条件。很简单的延伸是,用资金打通两端,或者拥有内容制造能力,或者拥有自己的渠道。但非常坦率地说,我们无法改变这一切

首先,做企业需要一个长远的有价值的目标,而不是哪里有"快钱",我们就去哪里。大多数好的企业,不管是有意而为还是无意偶得,走的路线基本如此。所以, 一定要针对用户需求提供有价值的产品和服务。听上去很简单,但在实际运作中却殊为不易。

其次,坚持很重要,有价值的产品和服务只有通过长期积累,为用户提供独特的价值,企业才有机会建立和积累核心竞争力。好的企业都经历了九死一生的漫长过程。很多企业基因不错、素质不错、韧性不错,在市场的波动中,他们都要经受磨砺,等到市场真正起来的时候,再环顾左右,大多数企业因没有坚持而倒下,少数企业因为坚持而留存下来。我有个很深的体会:很聪明的人,不见得办得成好企业,因为他可能耐不住寂寞。做企业 的本质是,自己确实觉得这件事有意思、有价值、有意义。这个过程中有很多其它机会,但不会去考虑,而是坚持下去。做企业需要机会和运气,对每个企业来说, 机会和运气都会来临,但重要的是,当机会来临时你还在那里

最后,你的产品最好不要站在别人的肩膀上,不要非常依赖于价值链上的其它环节。你应该能够自力更生地去创造自己的核心竞争力和价值。当时,SP企业相当依赖运营商。价值是运营商提供给你的,你的命运就是在与运营商的关系基础上的,这是它不能形成核心价值的很重要原因。

创业者的目标也许一开始并不是那么明确,但随着时间的推移,会越来越明确。大头无线,很大程度上是在反思、总结华友做SP的经验和教训上做起来的公司。现在大头无线的产品设置和战略规划,在很多方面可以说与华友世纪截然相反,也算是我们对得到的经验进行再次实践与检验吧。

SP当时提供的是比较单一的服务。大头今天要做什么呢,是要提供综合的声光色、视听看的服务,让手机用户享受丰富的多媒体服务。SP是在一个封闭的无线系统里,采取收费模式。而大头是基于开放的无线互联网,采取免费模式。


我预计手机大头这种客户端服务模式,真正获得爆发是在未来三五年的时间。我们现在要做的是耐心,持续不断发展下去,在手机多媒体这条路上,做到技术上在每 个阶段领先半步,服务不断提升,最后拥有自己的核心竞争力.


相关文章|Related Articles

评论数量(0)|Add Comments

本文网址:

06:41 2011年起SQLULDR2中的收费功能 (4705 Bytes) » AnySQL.net

    决定从2011年开始, 对文本导出工具SQLULDR2中的部份功能收费, 当然这些收费的功能一般是用不到的, 所以你们也不用太担心这个工具还能不能再用. 四个收费的功能是: 自动生成SQL*Loader控制文件, 按记录数切分文件, 按大小切分文件, 大表并行导出, 如果对这个有很强的意见, 可以在这里回复.

    自动生成SQL*Loader控制文件功能取决于是否用TABLE参数指定目标文件名.

sqluldr2 … table=target_table control=target_table.ctl

    按记录数切分文件的功能取决于三个命令行选项: FILE, ROWS, BATCH. 其中FILE选项指定的文件名中需要包括”%b”特征串, 以表示生成的文件号. ROWS指定单个文件的记录数, 而BATCH则指定是否切换成多个文件.

sqluldr2 … rows=100000 batch=yes file=uldrdata.%b.txt

    按大小切分文件的功能取决于两个命令行选项: FILE, SIZE. 其中FILE选项指定的文件名中需要包括”%b”特征串, 以表示生成的文件号; 而SIZE选项指定每个文件的目标大小.

sqluldr2 … size=100 file=uldrdata.%b.txt

    大表并行导出功能, 用法比较复杂一些, 可以参照这篇英文文章. 注册码和源数据库的名字关联,只要源库的名字相同,则可以共用注册码,并且DataCopy, DataSync, oramon也自动获得注册码, 实际上是这四个工具的注册码一起获得.

Relative Posts:

02:56 Building Economy,Scalable,Security Database System With PostgreSQL (88 Bytes) » DBA@SKY-MOBI
PostgreSQL 互联网应用new 首届中国互联网数据库技术论坛(华东站)

2010-06-18 Fri

21:09 Using Safari5 Reader for Reading Technical Posts (4026 Bytes) » Chanel [K]

最新Release的Mac下的浏览器Safari5除了全面支持HTML5之外,还有一个着重提到的功能就是Reader。

关于Reader的赞美之辞可以参看《改变阅读习惯的Safari 5阅读器》

那么实际上Reader对于我个人的用处是在浏览DBAsupport.com站点的文章,此站点文章质量较高而且还时常出现不少新奇有趣的文章。但是这个站点恼人的地方在于:1.在Google Reader中无法看到全文 2.在站点上直接浏览文章的话要承受大量的广告。

比如原站点中的文章大概看上去是这样五颜六色的。

使用了Safari5 Reader以后,变成了一篇白底黑字的清爽文章。

但是目前这个版本的Reader仍然有需要改进的地方,特别是对于可能会有大量代码的技术文章,那些代码在原文中有rss格式化,但是Reader转换以后格式就不正确了,这样会导致较长的代码有一部分无法看到。

仍然是上面这片技术文章。原文中的格式如下图,虽然也不尽美观,但是注意那些小字体的部分,至少可以看到全部文字。

而在Reader中最后超出页面的那些文字都无法看到了,而且似乎是苹果太在意用户阅读体验了,甚至连横向的滚动栏也没有。是的,我知道Reader中的字体可以缩小,但是即使缩到最小也仍然有一部分在页面之外。

Hope will be fixed soon.


18:00 Practical Tips for Optimizing SimpleDB Access (1441 Bytes) » myNoSQL
Practical Tips for Optimizing SimpleDB Access:

Sid Anand, Netflix cloud engineer, shares a set of tips for optimizing access to SimpleDB based on his extensive experience using it:

I’ve been a heavy-user of SimpleDB since January 2009, storing, writing, and reading billions of items. Based on my experience, I’ve compiled a list of best practices and conventions to simplify working with SimpleDB.

His article talks about handling numerical and time data, UUIDs/GUIDs, composite value attributes, batched PUTs and a couple more tricks.

13:39 Keeping Up (2214 Bytes) » The Pythian Blog

I found I never published this post as it was sitting in my drafts few months now — it was written in 13th February, 2010. I’m publishing it without any changes.

I learn therefore I am!

I’ve just wrote few bits about learning a new technology and after skimming through my Google Reader, I noticed a great post by Chen Shapira — Deliberate Practice. That’s reminded me about another aspect of learning that I didn’t mention — learning is a continuous process.

There are two aspects…

  • No matter how good I am and how much I know, my knowledge and expertize become outdated relatively quickly these days unless I keep up with the new stuff. Unfortunately, there is so much new technologies these days that I have to be very selective on what I want to follow which is a big challenge in itself. On the other hand, I’d rather be challenged than bored. As DBA’s we are luckier than Developers — their world changes much faster than ours.
  • I forget things I don’t use/do/read about/think about regularly. Refreshing my “old” memory is a must do. This is why I think Chen’s idea of deliberate practice is so great.


Some people are better on keeping the existing tools sharp, while others succeed on the lookout for new ways and techniques. To truly excel, we need to master both.

Continuous process

This photo (it was taken 5 years ago in Australia in one of Sydney’s “wild” parks) reminds me of this continuous learning process — perhaps, it will do the job for you as well.

09:10 All Erlang: Riak and Mnesia (3179 Bytes) » myNoSQL

Rusty Klophaus (@rklophaus) published a ☞ fantastic recap of the Erlang Factory London event. There were two parts that caught my attention summarizing Justin Sheehy’s presentation on Riak architecture and Ulf Wiger’s presentation on Mnesia.

Riak architecture:

There are eight distinct layers involved in reading/writing Riak data:

  • The Client Application using Riak
  • The client-side HTTP API or Protocol Buffers API that talks to the Riak cluster
  • The server-side Riak Client containing the combined backing code for both APIs
  • The Dynamo Model FSMs that interact with nodes using Dynamo style quorum behavior and conflict resolution
  • Riak Core provides the fundamental distribution of the system (not covered in the talk)
  • The VNode Master that runs on every physical node, and coordinates incoming interaction with individual VNodes
  • Individual VNodes (Virtual Nodes) which are treated as lightweight local abstractions over K/V storage
  • The swappable Storage Engine that persists data to disk

☞ Riak from the Inside

Mnesia and NoSQL

  • Deployed commercially for over 10 years
  • Comparable performance to current top performers clustered SQL space
  • Scalable to 50 nodes
  • Distributed transactions with loose time limits (in other words, appropriate for transactions across remote clusters)
  • Built-in support for sharding (fragments)
  • Incremental backup

The downsides are:

  • Erlang only interface
  • Tables limited to 2GB
  • Deadlock prevention scales poorly
  • Network partitions are not automatically handled, must recombine tables automatically

☞ Mnesia for the CAPper

CouchDB, the document database built on Erlang, was also present at the event, but I couldn’t find a report about the talk or the slides.

05:06 ACOUG第四次活动召集中 - 6月26日 (2661 Bytes) » Oracle Life

作者:eygle 发布在 eygle.com

ACOUG的第四次活动定于6月26日举行。相关信息如下,演讲主题可能依据最后安排有所变化:


2010年6月26日下午举办 ACOUG第四次线下活动。 开始接受报名,报名方法跟ACOUG首次活动报名方法相同。

注意:请大家不要将期望得到回复的问题放在报名邮件中,报名邮件地址通常只专用于接受报名,如果有其它问题,可以带到我们的活动中去寻求解答。

活动地点及具体时间将在这里更新,同时也会更新到Twitter (@tacoug),敬请关注。

嘉宾介绍:
周硕基:工作在IBM的Oracle OCM
叶熙昌:Oracle亚洲研发部

活动内容:
技术主题演讲。

活动日程:
1. 周硕基 作《PureScale与RAC之比较》主题演讲

2. 叶熙昌 作《Oracle Grid Control技巧》主题演讲


欢迎参与,期待下周与大家相见!




相关文章|Related Articles

评论数量(0)|Add Comments

本文网址:

04:55 not exists and not in compare » DBA@SKY-MOBI
01:16 Linux下获取IO压力数据 » AnySQL.net
00:06 A Cassandra Glossary » myNoSQL

2010-06-17 Thu

23:13 I wish (2) » Oracle Scratchpad