无·飘之澪

10/24/2012 - 10/28/2012 I had a talk with Hao Di about the problem I met when I read the paper, and I got known that the links also exist when the node are under a fault, despite the conncet existing between them in the network graph. In these few days, I have been working on the expand of Anne's model. I want to do some expand on the VN mapping algorithm of Anne's model to consider the situation where overlaps exist between VNs. Currently I don't consider that some tasks belonging to the same job are hosted onto the same physical server, in this situation the independent requirement from the machematics model will be broken. I wanted to use the probability and stochastic method to model this existing overlap, however I found it will become more complicated when the number of VNs increases, expecially when the overlap existing between multiple VNs and the parts of the overlaped region being shared by different number of VNs. In this case the condition probability for

10/22/2012 - 10/23/2012 I had a talk with Prof. Yu regarding to what I was doing in this few days, and she recommanded me to take talks with Hao Di. Already we had a discussion with each other last Friday concerning the calculating method of virutal network request reliability. The literatures he had read mostly assume that the probability of each server is fix and independent, while I had saw, for a instance Anne's model, it is unknow. In Anne's model, it just knows the arrival rate of hardware failure which follows Poisson distribution. The both two mehtods are all correct. They take into the same problem from different point of view. And these two day, I was mainly reading the paper Hao Di sent to me last Friday about considering the reliability during the VN mapping. The one of these is cited by the paper what I had read last weak, and I'm reading it. It is a very interesting paper. It consideres the backup node sharing with different VNs. In this paper, the authors

10/18/2012 - 10/21/2012 我发现其实我可以在目前Anne模型的基础之上进行改进。目前Anne的模型假设每个VN节点都要放置在不同的物理服务器上。但就目前我看到的关于可靠性方面的文章来看，都基本上是集中在一个job的不同task是不能放置在同一故障域内的，这个是他们所应用的数学模型的基础，就是说故障是独立的。关于这一点我想可以先放一下，不过Anne的模型还有一个问题就是她只考虑了一个VN请求，并且只是分析了在这种情况下这个VN请求的资源不能得到满足的时间分布，即故障节点数量超过k个备份节点的时间分布。因此在分析一个VN请求的时候，在马尔可夫状态之间转移并不需要考虑具体是哪个节点损坏，关注的只是几个物理节点损坏。但是在具体资源映射的时候就不能仅仅是考虑几个物理节点损坏了，还需要关注是哪些损坏，并且这些损坏的节点对其它VN请求是否造成影响。因此，我想从这点出发看看能不能在这个问题上做一些工作。周四（10/18）和虞老师大概聊了一下，但没有深入聊，后面再深入看看。 呵呵，周末在家宅了两天，其实还不错了，可以在厨房的餐桌上用计算机，而且这里网速还不错，比我那件小屋的快了不少哦，都可以打网络电话，就是视频不行，很卡。而且还有桌子用，不错了。

10/15/2012 - 10/17/2012 这周一(10/15)，乔老师请我吃了一顿中午饭，在学校commence的日本餐厅吃的。虽说是日本餐厅，其实是中国人开的了。吃了一碗炒饭，还不错，8刀吧。如果天天在外面吃果然还是一笔不小的开销啊。一天就将近16刀，一个月下来快500刀了。不过偶尔在外面吃吃其实也挺不错的。不过我看这里的餐厅啊这些其实也挺小的，而且也不多。除了日本餐厅以外，还有一个印度人开的，中东的，以及一个中国的扬州，不过据说中国那间店不是很好吃。乔老师常去的是日本的那家，吃他家的乌东面。老实说，这顿中午饭是我在这一个月内吃得最好吃的一顿，平时自己弄的那些饭菜，刚做好的时候吃很好吃，可以老是放在冰箱里面，久了味道也就不太好了。用微波炉加热总是感觉味道怪怪的。等在这慢慢熟悉以后再到处去走走吧。 这几天主要是看一些关于与云服务可靠性相关的文章。我发现其实大家做的东西都差不太多，主要都是从随机过程里面的时间分布这一点入手。有些是假设底层物理硬件的故障概率是已知的，然后利用多项式的方法来表示一个服务出错的概率。另一些则是假设故障到达的强度是已知的，并且认为是满足泊松分布的，因此就可以得出一个服务在执行时间内无中断的概率分布，因为相邻故障到达的时间间隔是满足指数分布的。因此无中断运行的时间分布就是与故障到达率相关的指数分布。剩下的就是以分布为基础进行后续的分析，如加入服务的开始时间等。因为服务的开始时间也是前面服务的结束时间，因此也是一个随机过变量。而另外一种方案则是利用马尔可夫模型，以系统中故障服务器的数量为状态，观察系统状态的转移概率。利用数值计算以及采样路径的方法求的一定时间内，服务中断的时间分布，如Anne的模型。Anne的模型主要是利用全概率公式结合枚举的方式进行求解，她将总的时间分为系统在不同状态的时间之和，这样就将“指定时间”这一参数加了进去。然后对不同状态所处的时间进行穷尽，再利用全概率公式就可以得出在这一指定时间内的故障时间分布。（关于Anne模型的详细说明我会另外写篇文章进行记录。） 周三我们项目组开组会，CCR的老师 Charng-Du Lu 说了他目前在做的事情，就是在Anne前期数据分析工作的基础以上进行完善，从而可以的得出较为系统的结果。如Anne在假设哪些故障可以考虑认为是相关故障，应只看作一个故障时，是通过设定一个时间，

Reliability是目前大多是与硬件相关的问题里面都需要考虑的一个问题，例如云计算。云计算出来的时候大家发现里面最重要的就是如何利用好资源，所有大家都把研究的重点集中到如何对资源进行优化利用，从而最大化资源利用率。到后面发现数据中心能耗是个问题，就又转到节能、绿色网络的研究。其实就我各人看来，其实和资源的优化使用还是差不多，不同的是这个需要对各种资源的使用进行能耗相关的建模。根据这个模型来研究如何进行资源的放置。等这些都研究得差不多了，大家就发现，诶，reliability也是个问题哦，数量这么庞大的服务器群，怎么说难免也会有个一些服务器要出故障吧。嗯，好像是这么回事，好的，大家就开始研究了。 从我目前看到的文章来看，大家研究的思路大体上是差不多的。首先对数据进行分析，通过对大量数据中心运行数据，包括统计，log等分析，获得各种故障发生的数据，包括间隔时间，频率，修复时间等。不过这些数据不是每个人都能拿到的，因为这些数据只有那些真正在运行一个数据中心的人才能拿到，而且这个分析费时费人。搜集的数据太长，耗时过多，要是太短，数据就不一定又说服力。因此目前就一些大公司，如google，microsoft等在做，很多高校的学者则太愿意花时间在上面。 通过对数据中心运行数据进行分析，利用统计匹配的策略，就能大概获得各种与故障相关的分布特性，如指数分布的参数等。这里就有两种思路，一种是在获得这些参数以后接下来就是利用markov模型对其进行建模，并最后求出在一定时间T内，n+k个服务器的失效时间分布，其中n表示工作服务器的数量，k表示备份服务器的数量。这里有一个条件要考虑，那就是不同服务器的故障发生是独立的，这样才能服务markov模型的前提条件。Anne的模型就是这种策略。另一个种则是在获得指数分布的参数后就直接利用这个参数进行分析，如分析在一定时间长度下能够正常运行的概率等。 对于前一种分析方式，如Anne的模型，利用前期通过数据分析以及统计匹配获得的统计参数，就可以与建立markov模型的到达率和离开率。接着就计算每个状态的平稳分布。一般情况下每个状态表示系统中故障节点的数量，这样与利用统计方法获得的参数相一致。然后去求在一定之间长度T下，对于n+k这种组合模式的故障失效时间分布。这里假设当故障节点数量超过k个时即考虑系统以及发生故障。要解这个问题我们可以

10/11/2012 - 10/14/2012 周四那天总算是把自己的UB卡拿到了，真是不容易啊，这下总算是不需要再借别人的卡了。刚开始以为拿到卡就又UBIT Name了，哪晓得也没有，还得再去一个地方开通，没办法又过去。再再后面就发邮件去问系里面的行政人员开通门禁系统的权限，这个才是主要的啊。不过被告知这个事不由她管，需要向系里面另一个管这个事的人发邮件。OK，发呗。第二天收到回邮，说是他们这个系统会自动更新的，如果又人刚拿到新的UB卡的话。她告诉我周五早上8:30以后我的卡就能卡打开除338 suit以及其他门的权限了。不过后面我才发现其实还没有，我下午开会组会试了一下不行，还是打不开，幸好是回去的时候试了一下，要不岂不是悲催了。中午乔老师来我们房间的时候邀我和我们这个房间的另一个老师下周一一起吃中午饭，在那个时候我就把他的卡还他了。周五这天乔老师还帮我们搞定了打印机的问题，另外我的电脑账户问题也一并解决了。 这两天主要看了几篇关于定价和VM动态放置的文章，我和目前要做的都不太相关。定价的那两片都主要是从工业阶段去开率这个定价问题。我觉得资源定价用博弈模型来建立估计会更好一下，不然只是在那里讨论哪些因数需要考虑，该怎么去量化它的价格，我觉得这种方式没有太多的学术含量。 另外的一篇关于VM放置的，则是利用启发式算法来安排VM的方式，目标是最小化各个请求测量出来的实际response time和目标值之间差值的和。没什么可借鉴的，倒是让我想起了原来看的HP的一篇用控制论的思想来优化VM放置的文章，我又翻看了一遍，虽然里面没有太多的数学推导，不过他提出来利用控制论的思想，通过建立回归模型，在应用的输出性能以及分配的物理资源之间建立一个对应关系。这个方法应该是目前比较使用的策略了，只是这个估计是否准确还有待研究，不过这个也不是我需要关注的重点。 对于部署在一个物理主机上的多个虚拟之间如何进行资源共享的问题他也提了一个算法。当所有应用的资源需求量都没有超过物理主机可提供的资源总量时，就向各个应用分配对应的需求资源量。如果其中有一种资源出现竞争，即使所有应用的需求总量超过了物理主机的资源可提供量，则利用前面建立的回归模型对相应资源分量求导，从而获得相应的竞争资源对各个应用性能影响的程度。然后与资源需求量与分配量的差值相乘，这样就获得了分配差值对性能的总影响。对

在C语言中，可是使用rand()函数产生一个伪随机数。当然如果设置srand(TIME(NULL))那几乎就是随机数了。这个伪随机数的范围是[0,RAND_MAX]，RAND_MAX 在stdlib.h文件中定义。嗯，我们这里不管这个，回到正题。 首先假设有3个数，a1,a2,a3， 出现的概率分别为0.1，0.3，0.6。现在需要按它们出现的概率来随机产生。 一个简单的方法是： 1.利用 (double)rand()/RAND_MAX; 产生一个[0,1]到随机数k； 2.利用if语句判断这个数是在上面的那个区间，如[0,0.1),[0.1,0.4),以及[0.4,1.0]。 另一个方法则是利用while循环： 1.产生一个[0,1.0]的随机数 k ，方法同上； 2.利用如下语句： i = 0; while(k>ai) {    i++;    k += ai; } return ai;  （未完待续）

也许男人都需要一些外部的影响才能渐渐找到自己的目标。以前我只知道我有一个乖乖的老婆， 我们可以在一起很开心。可是我从来没有意识到老婆真真需要的是什么，我真真需要承担的是什么，直到我来美国以后。到了这里，体会到了乖乖老婆不在身边，体会到了一个人过生活的辛苦。可是让我真真体会到的是给老婆的承诺以及男人的责任，那就是担当。尽管来得有点晚，但我终于知道我现在的目标是什么了。谢谢亲亲老婆这么久以来对我的信任以及容忍。

9/14/2012 - 10/10/2012 来美国快一个月，基本也慢慢开始习惯了这边单调而孤独的生活。回想起刚到这时，心里还真是充满了恐惧，一个完全陌生的环境，身边各色各样的人说着你似懂非懂的语言，难免让人心里发毛。不过现在好一点了，尽管当初很担心和外国人合租会不会很不舒服，不过现在想想也没什么，反正我们的交流也不多，各人过各人的生活，尽管在做饭这一点上多少有点不便，但想想要是不和外国人住估计我也会在尽量在周末把下周的饭做好，这样也省的每天麻烦。而写这个博客也就想记录一下在这边生活以及学习的点点滴滴，等回去以后也可以留个纪念。 美国不愧是建在车轮上的国家，要是没车那出行是相当的不便啊。由于来的时间不长，另外也想存一些钱，所以我也不打算买车。因此如果需要买东西就只有看谁要去搭个便车或是请人带一下下了：）。不过也还好了，反正我一个人也吃不了多少。菜色单一在学校的时候也经历过，所有基本上没什么影响。 刚来的那天是周五（9/14），所以也去了他们的讨论会。尽管只做了一个很简短的自我介绍，可是还是很紧张的。有个印度仔（呵呵，请允许我这么说），好像是中了一个什么奖吧，就买了几个披萨来请大家吃，我也尝了一下。唉，味道是相当的独特啊，反正我是完全吃不来。师兄还让我少吃一点一会去吃中餐，呵呵，他明显高估了我的实力，我连一块都吃得很痛苦。晚上娇姐请我吃了个中餐，最后没吃完的菜我也全打包带回去了。周六她和另一女生就开车带我去把很多东西买了 ，什么厨房用具啦这些，几乎忙了一整天，也带我去办了银行卡，真是谢谢啊。哦，也是在这天我花了400多刀买了一张床，这应该是我在这边的最大单笔支出了。周日宅在家，累的很啊，也顺便找找房子，还是不想和外国人住了，尽管那个美国本本科生回家了，那个德国人还没来。周一是放假，所以也看了一间房子，那个中国人也忒不好相处了吧，果断没去。  （9/17 - 9/23） 第二周就让我参加google项目的讨论会，那是相当的悲催啊，我完全不知道他们在说什么。这有两方面的原因，一个是还没有习惯全是英文的环境，另一个就是对他们在做什么完全搞不明白，因为我是中途加进来的嘛。所以整个星期都比较郁闷。周四我和虞老师大概说了一下我在这边的情形，也包括生活啊。不过我们没有聊很多，就是随便说了一下，对我后续的研究工作也没有多少讨论。后续研究什么，怎么做都得靠自己啊