ITeye博客

hubertwu的博客

hubertwu · 共 11 篇文章

技术人生-走自己的路

邬红兵: 首先欢迎大家来参加今天这个技术分享,我先很快的过一下PPT,讲述一下自己的经历,大家有什么问题,我们互相交流,这样知道的更多。 先简单介绍一下自己的经历,我发现每个人回顾自己的经历都觉得很曲折,我自己觉得自己的经历很曲折。比如我读小学的时候根本不想上学,我印象最深的就是逃学,基本上一个星期有五六天,大概有两三天是到外面闲逛的,小朋友聚在一块儿打弹子球。到了五年级的时候突然发现要考初中,那时候才真正用功读书了一会儿,我们当时有一个数学老师是班主任,就做了一个考试,考完以后觉得我还不错,就把他的女儿放在我旁边坐,所以就比较用功的读书,当时考了初中,也是一个一般的学校。 读初中也没有真正…

2010-12-31 09:52 · 评论(1)

漫谈大规模交易系统架构设计--Core--Engine (continue)

做大系统设计,就和切蛋糕一样,把复杂问题简单化。一口吃不了一个胖子,就分块来吃。设计方法无非就以下几种方法: 一是横向切,最典型的的就是TCP/IP协议;把整个互联网通讯按实现的功能来分成几层,每一层专注自己那层的工作。比如链路层(IP)专门负责发送和接收IP数据报。这样,每层的工作比较明确清晰,实现起来也比较方便。 二是纵向切,比较典型的就是TCP和UDP的分离。TCP负责可靠信息的传送,UDP负责不可靠但快速的信息传送。大家各负责各的,界限很清晰。 三是异步脱离。就是将一些外围非实时服务通过消息或事件驱动的方式让他们独立出去,脱离主系统流程。比如日志系统,消息通知系统等都可以独立出去,然…

2010-09-14 13:47 · 评论(2)

从高级程序员到架构师

从高级工程师升到架构师的经历对我来说有点搞笑。技术能力是一个方面,但是最主要原因不是因为我的计算机技术,而是我对一些物理现象的本质理解。 99年刚从上海到美国硅谷,加入一家创业公司。我老板是公司的CTO,赫赫有名的斯坦福物理学终身教授,据说差点被诺贝尔奖提名;现在兼职硅谷华源协会Chairman。 加入不久,花了1个星期改写了一个公司资深顾问花了1个月写的邮件转发处理程序,效率提高了N倍。其实不是我牛,是那个资深顾不知出于什么原因,把程序写得效率极低。简单的数据流读写,竟然采用单字节的读写方式;我当然稀里哗啦全部改成Buffer读写。同时他竟然采用的是单进程来处理邮件,我当然把程序改成多线程…

2010-09-09 19:54 · 评论(3)

漫谈大规模交易系统架构设计--Core--Engine

人有心脏,汽车有引擎。大规模交易系统里,最好也有一个引擎;就好比人有心脏,汽车有引擎一样。交易系统的引擎是什么?能够起到什么作用?应该如何搭建?咱们慢慢谈。 前面的博客中提到系统有三个核心部分,这次先详细探讨其中一个,就是交易本身,把钱(或有价证卷等)从A账户转到B账户的操作。这个操作是一个最基本的最核心的操作,钱(或证券等)流动的操作都可以由这个基本操作组合而成。 引擎是什么?就是执行由上面所说的那个基本核心操作(当然还有一些其它操作)组成的操作流程的东西。引擎不负责流程的制定,它只负责流程的执行,它是执行者。就和心脏一样,心脏不是大脑,不负责行动计划,只负责行动。 为什么要引擎?引擎的最…

2010-09-07 11:30 · 评论(0)

漫谈大规模交易系统架构设计--Master DB

大家经常会听到分布式事务处理,分布式存储等等。但是,在大规模交易系统中,对于核心数据的部分,这些都是狗屎;害死了许多人。前前Paypal的CTO就是被这东东给害了。 由于交易量不断的增大,当时Paypal的核心数据库服务器的Load非常高,超过80%。为了解决问题,决定采用分布式存储,把核心数据的用户信息和Balance数据按用户名来分库存储在不同的地方,采用事务两阶段提交(Two-Phase-Commit)的方式来保证事务的一致性。 当时看来,这个解决方案很好,理论上可以完美的解决核心数据库压力太大的问题。上线前的测试也很好,没有出现任何问题。但是,,, 上线后不久,整个系统就被打死了。为…

2010-09-01 19:43 · 评论(3)

漫谈大规模交易系统架构设计--Core

交易的核心是什么?很多时候大家都说不到点子上。其实最最核心东西的就是把钱(或证券等)从账户A移到账户B的操作;任何交易系统,都脱不开这个操作。这个操作的相关东东就是整个交易系统的核心。 核心相关的东东有些什么? 首先是帐务系统。把钱(或证券等)从A账户移到B账户,你得知道A账户的情况,你得知道B账户的情况;账户管理必须得有。帐务信息要存储到数据库里。 其次是钱转移的过程,也就是把钱从账户A里拿出来,把钱放到B账户里去。所以移钱一般有两个数据库操作:A账户减钱,B账户加钱。这就涉及到事务一致性的问题。钱从A账户扣掉后,必须保证钱能加到B账户里去。关于事务一致性的处理,后面再详细说。 因为交易系…

2010-08-26 11:10 · 评论(0)

漫谈大规模交易系统架构设计方法--Performance

假设下面的pseudo code是一段重要的实时操作的程序: 。。。。 Begin Transaction Call Remote Service A To Write Data in A system Insert Record Update Status Call Remote Service B To insert Data in B system Send Email To Notify User Call Remote Service C To Update Data in C system End Transaction 。。。。 大家都知道,上面pseudo code非常愚蠢,…

2010-08-19 13:04 · 评论(0)

漫谈大规模交易系统架构设计方法--Stateless

大家都知道大规模系统中Web服务器不止一台,也不是几十台,很可能是成百上千台。系统必须是可扩(Scalable)的;特别是Web服务器必须是可扩的,因为大型系统的流量会是非常大的。 最简单最便宜的方法就是加Linux机器来作为Web服务器。你设计的架构如果不能支持这种通过加机器来扩充系统的方法的话,以后随着流量的增大,领导和群众都会疯掉;系统重构估计是不可避免的。 显然,要做到这一点,每台Web服务器上是不能保存(交易/请求/session。。。)的状态的。就是说每台Web服务器上是Stateless的。 有人要说,我偏偏要在Web服务器上保留状态,咋啦?。我在Web服务器的前面放一个分流服…

2010-08-17 19:48 · 评论(0)

漫谈大规模交易系统架构设计--CorrelationID

说道CorrelationID,发觉很多架构师不知道这个概念;说明这些架构师没玩过多个子系统的协同。CorrelationID是什么?是协同ID,协同一个交易在不同子系统之间的情况。别小看这个东西;有了它,你的工作真的会事半功倍。 CorrelationID是什么?是一笔交易(或其它全局的东东)在整个系统中唯一的标志,是跨子系统的唯一标志。在跨子系统的交互中,每条通讯消息中,必须有一个字段是CorrelationID。 CorrelationID有啥用处? (1)关联作用。由于不同子系统的实现方法可以千差万别,可以采用不同的数据库或Schema,信息的标志也不一样。如何不同的子系统中关联同一…

2010-08-17 11:03 · 评论(0)

漫谈大规模交易系统架构设计方法--Divide and Conquer

大规模系统常见问题: 大规模系统和小规模系统是不一样的。一般小规模系统一个牛X的高级架构师就可以完全搞定设计,他可能对整个系统了如指掌,能驾驭系统的各个方面。但是大规模系统就不是这么一回事。再牛X的人都是有能力和时间都是极限的,系统太大,牵扯的面太广,一个人是很难,或者说是不可能完全面面俱到的。这就需要从思想上做好准备,要把系整个统划规划好,集合多个架构师来驾驭整个系统 常见大规模系统的几个问题包括: 1. 系统太庞大,各个部分互相牵扯,纠缠不清。 2. 数据库太复杂。通常一个表担负着多重角色、职责和任务,导致阅读困难,管理更困难 3. 程序太多、太复杂。各部分牵扯太多,程序模块依赖太。加新…

2010-08-16 17:40 · 评论(1)

漫谈大规模交易系统架构设计--前言

做了很多年的软件系统和架构设计,由于本人很懒,没写过什么帖子或文章。但是自己也有些经验和想法,也总想拿出来给大家分享一下,探讨一下。最近,为了让自己能回炉一下知识,决定勤快一点,写些帖子,来总结一下自己对大规模系统架构设计的理解,清理一下思路;同时也给大家提供个正面或反面的东西做参考,和大家一起学习讨论。 有些东西,做过和没做过有时还真是不一样。大规模系统的玩法和一般规模系统的玩法是不一样的;做过大系统和没做过大系统的高级架构师,眼光还真有些不同。 工作中,发现许多人对这个还不是真正的理解。认为大系统和小系统的玩法都一样,或是以为自己区分了,却还是用小系统的玩法来设计大规模系统。随着业务的发…

2010-08-09 17:53 · 评论(0)