高山流水

纪念伟大的俯卧撑时代

高山流水 — Thu, 03 Jul 2008 04:23:34 +0000

收藏——The Easy Way to Extract Useful Text from Arbitrary HTML

高山流水 — Sun, 29 Jun 2008 08:26:40 +0000

原文地址：http://ai-depot.com/articles/the-easy-way-to-extract-useful-text-from-arbitrary-html/

作者： alexjc

介绍了一种另类的、简单的、有效的、具有一定广泛性的提取HTML文档正文内容的方法，这种方法从统计学和机器学习的角度出发，使用文本和HTML代码的密度来决定一行文件是否应该输出，从而跨越了HTML文件的结构和标签的分析难度，实现真正文本信息的挖掘。

如文章中所示，其主要原理如下：

Parse the HTML code and keep track of the number of bytes processed.
Store the text output on a per-line, or per-paragraph basis.
Associate with each text line the number of bytes of HTML required to describe it.
Compute the text density of each line by calculating the ratio of text to bytes.
Then decide if the line is part of the content by using a neural network.

作者使用了python来实现了基本的实例，并使用了FANN（Fast Artificial Neural NetWork，人工神经网络库）的机器学习算法使得结果更为成熟，思路明确，代码简单，图表清晰，很棒的文章。

csdn的赖勇浩（恋花蝶的博客）曾翻译过该文，地址是：http://blog.csdn.net/lanphaday/archive/2007/08/13/1741185.aspx

收藏——MySpace的六次重构

高山流水 — Sun, 29 Jun 2008 08:02:06 +0000

本文来自互联网，如侵犯了您的权利，请来信告知：gsls.info@gmail.com

在每个里程碑，站点负担都会超过底层系统部分组件的最大载荷，特别是数据库和存储系统。接着，功能出现问题，用户失声尖叫。最后，技术团队必须为此修订系统策略。

虽然自2005年早期，站点账户数超过7百万后，系统架构到目前为止保持了相对稳定，但MySpace仍然在为SQL Server支持的同时连接数等方面继续攻坚，Benedetto说，”我们已经尽可能把事情做到最好”。

1.里程碑一：50万账户

按Benedetto 的说法，MySpace最初的系统很小，只有两台Web服务器和一个数据库服务器。那时使用的是Dell双CPU、4G内存的系统。

单个数据库就意味着所有数据都存储在一个地方，再由两台Web服务器分担处理用户请求的工作量。但就像MySpace后来的几次底层系统修订时的情况一样，三服务器架构很快不堪重负。此后一个时期内，MySpace基本是通过添置更多Web服务器来对付用户暴增问题的。

但到在2004年早期，MySpace用户数增长到50万后，数据库服务器也已开始汗流浃背。

但和Web服务器不同，增加数据库可没那么简单。如果一个站点由多个数据库支持，设计者必须考虑的是，如何在保证数据一致性的前提下，让多个数据库分担压力。

在第二代架构中，MySpace运行在3个SQL Server数据库服务器上–一个为主，所有的新数据都向它提交，然后由它复制到其他两个；另两个全力向用户供给数据，用以在博客和个人资料栏显示。这种方式在一段时间内效果很好–只要增加数据库服务器，加大硬盘，就可以应对用户数和访问量的增加。

2.里程碑二：1-2百万账户

MySpace注册数到达1百万至2百万区间后，数据库服务器开始受制于I/O容量–即它们存取数据的速度。而当时才是2004年中，距离上次数据库系统调整不过数月。用户的提交请求被阻塞，就像千人乐迷要挤进只能容纳几百人的夜总会，站点开始遭遇”主要矛盾”，Benedetto说，这意味着MySpace永远都会轻度落后于用户需求。

“有人花5分钟都无法完成留言，因此用户总是抱怨说网站已经完蛋了。”他补充道。

这一次的数据库架构按照垂直分割模式设计，不同的数据库服务于站点的不同功能，如登录、用户资料和博客。于是，站点的扩展性问题看似又可以告一段落了，可以歇一阵子。

垂直分割策略利于多个数据库分担访问压力，当用户要求增加新功能时，MySpace将投入新的数据库予以支持它。账户到达2百万后， MySpace还从存储设备与数据库服务器直接交互的方式切换到SAN（Storage Area Network，存储区域网络）–用高带宽、专门设计的网络将大量磁盘存储设备连接在一起，而数据库连接到SAN。这项措施极大提升了系统性能、正常运行时间和可靠性，Benedetto说。

3.里程碑三：3百万账户

当用户继续增加到3百万后，垂直分割策略也开始难以为继。尽管站点的各个应用被设计得高度独立，但有些信息必须共享。在这个架构里，每个数据库必须有各自的用户表副本–MySpace授权用户的电子花名册。这就意味着一个用户注册时，该条账户记录必须在9个不同数据库上分别创建。但在个别情况下，如果其中某台数据库服务器临时不可到达，对应事务就会失败，从而造成账户非完全创建，最终导致此用户的该项服务无效。

另外一个问题是，个别应用如博客增长太快，那么专门为它服务的数据库就有巨大压力。

2004年中，MySpace面临Web开发者称之为”向上扩展”对”向外扩展”（译者注：Scale Up和Scale Out，也称硬件扩展和软件扩展）的抉择–要么扩展到更大更强、也更昂贵的服务器上，要么部署大量相对便宜的服务器来分担数据库压力。一般来说，大型站点倾向于向外扩展，因为这将让它们得以保留通过增加服务器以提升系统能力的后路。

但成功地向外扩展架构必须解决复杂的分布式计算问题，大型站点如Google、Yahoo和Amazon.com，都必须自行研发大量相关技术。以Google为例，它构建了自己的分布式文件系统。

另外，向外扩展策略还需要大量重写原来软件，以保证系统能在分布式服务器上运行。”搞不好，开发人员的所有工作都将白费”，Benedetto说。

因此，MySpace首先将重点放在了向上扩展上，花费了大约1个半月时间研究升级到32CPU服务器以管理更大数据库的问题。Benedetto说，”那时候，这个方案看似可能解决一切问题。”如稳定性，更棒的是对现有软件几乎没有改动要求。

糟糕的是，高端服务器极其昂贵，是购置同样处理能力和内存速度的多台服务器总和的很多倍。而且，站点架构师预测，从长期来看，即便是巨型数据库，最后也会不堪重负，Benedetto说，”换句话讲，只要增长趋势存在，我们最后无论如何都要走上向外扩展的道路。”

因此，MySpace最终将目光移到分布式计算架构–它在物理上分布的众多服务器，整体必须逻辑上等同于单台机器。拿数据库来说，就不能再像过去那样将应用拆分，再以不同数据库分别支持，而必须将整个站点看作一个应用。现在，数据库模型里只有一个用户表，支持博客、个人资料和其他核心功能的数据都存储在相同数据库。

既然所有的核心数据逻辑上都组织到一个数据库，那么MySpace必须找到新的办法以分担负荷–显然，运行在普通硬件上的单个数据库服务器是无能为力的。这次，不再按站点功能和应用分割数据库，MySpace开始将它的用户按每百万一组分割，然后将各组的全部数据分别存入独立的SQL Server实例。目前，MySpace的每台数据库服务器实际运行两个SQL Server实例，也就是说每台服务器服务大约2百万用户。Benedetto指出，以后还可以按照这种模式以更小粒度划分架构，从而优化负荷分担。

当然，还是有一个特殊数据库保存了所有账户的名称和密码。用户登录后，保存了他们其他数据的数据库再接管服务。特殊数据库的用户表虽然庞大，但它只负责用户登录，功能单一，所以负荷还是比较容易控制的。

4.里程碑四：9百万到1千7百万账户

2005年早期，账户达到9百万后，MySpace开始用Microsoft的C#编写ASP.NET程序。C#是C语言的最新派生语言，吸收了C++和Java的优点，依托于Microsoft .NET框架（Microsoft为软件组件化和分布式计算而设计的模型架构）。ASP.NET则由编写Web站点脚本的ASP技术演化而来，是 Microsoft目前主推的Web站点编程环境。

可以说是立竿见影， MySpace马上就发现ASP.NET程序运行更有效率，与ColdFusion相比，完成同样任务需消耗的处理器能力更小。据技术总监 Whitcomb说，新代码需要150台服务器完成的工作，如果用ColdFusion则需要246台。Benedetto还指出，性能上升的另一个原因可能是在变换软件平台，并用新语言重写代码的过程中，程序员复审并优化了一些功能流程。

最终，MySpace开始大规模迁移到ASP.NET。即便剩余的少部分ColdFusion代码，也从Cold-Fusion服务器搬到了 ASP.NET，因为他们得到了BlueDragon.NET（乔治亚州阿尔法利塔New Atlanta Communications公司的产品，它能将ColdFusion代码自动重新编译到Microsoft平台）的帮助。

账户达到1千万时，MySpace再次遭遇存储瓶颈问题。SAN的引入解决了早期一些性能问题，但站点目前的要求已经开始周期性超越SAN的I/O容量–即它从磁盘存储系统读写数据的极限速度。

原因之一是每数据库1百万账户的分割策略，通常情况下的确可以将压力均分到各台服务器，但现实并非一成不变。比如第七台账户数据库上线后，仅仅7天就被塞满了，主要原因是佛罗里达一个乐队的歌迷疯狂注册。

某个数据库可能因为任何原因，在任何时候遭遇主要负荷，这时，SAN中绑定到该数据库的磁盘存储设备簇就可能过载。”SAN让磁盘I/O能力大幅提升了，但将它们绑定到特定数据库的做法是错误的。”Benedetto说。

最初，MySpace通过定期重新分配SAN中数据，以让其更为均衡的方法基本解决了这个问题，但这是一个人工过程，”大概需要两个人全职工作。”Benedetto说。

长期解决方案是迁移到虚拟存储体系上，这样，整个SAN被当作一个巨型存储池，不再要求每个磁盘为特定应用服务。MySpace目前采用了一种新型SAN设备–来自加利福尼亚州弗里蒙特的3PARdata。

在3PAR的系统里，仍能在逻辑上按容量划分数据存储，但它不再被绑定到特定磁盘或磁盘簇，而是散布于大量磁盘。这就使均分数据访问负荷成为可能。当数据库需要写入一组数据时，任何空闲磁盘都可以马上完成这项工作，而不再像以前那样阻塞在可能已经过载的磁盘阵列处。而且，因为多个磁盘都有数据副本，读取数据时，也不会使SAN的任何组件过载。

当2005年春天账户数达到1千7百万时，MySpace又启用了新的策略以减轻存储系统压力，即增加数据缓存层–位于Web服务器和数据库服务器之间，其唯一职能是在内存中建立被频繁请求数据对象的副本，如此一来，不访问数据库也可以向Web应用供给数据。换句话说，100个用户请求同一份资料，以前需要查询数据库100次，而现在只需1次，其余都可从缓存数据中获得。当然如果页面变化，缓存的数据必须从内存擦除，然后重新从数据库获取– 但在此之前，数据库的压力已经大大减轻，整个站点的性能得到提升。

缓存区还为那些不需要记入数据库的数据提供了驿站，比如为跟踪用户会话而创建的临时文件–Benedetto坦言他需要在这方面补课，”我是数据库存储狂热分子，因此我总是想着将万事万物都存到数据库。”但将像会话跟踪这类的数据也存到数据库，站点将陷入泥沼。

增加缓存服务器是”一开始就应该做的事情，但我们成长太快，以致于没有时间坐下来好好研究这件事情。”Benedetto补充道。

5.里程碑五：2千6百万账户

2005年中期，服务账户数达到2千6百万时，MySpace切换到了还处于beta测试的SQL Server 2005。转换何太急？主流看法是2005版支持64位处理器。但Benedetto说，”这不是主要原因，尽管这也很重要；主要还是因为我们对内存的渴求。”支持64位的数据库可以管理更多内存。

更多内存就意味着更高的性能和更大的容量。原来运行32位版本的SQL Server服务器，能同时使用的内存最多只有4G。切换到64位，就好像加粗了输水管的直径。升级到SQL Server 2005和64位Windows Server 2003后，MySpace每台服务器配备了32G内存，后于2006年再次将配置标准提升到64G。

意外错误

如果没有对系统架构的历次修改与升级，MySpace根本不可能走到今天。但是，为什么系统还经常吃撑着了？很多用户抱怨的”意外错误”是怎么引起的呢？

原因之一是MySpace对Microsoft的Web技术的应用已经进入连Microsoft自己也才刚刚开始探索的领域。比如11月，超出 SQL Server最大同时连接数，MySpace系统崩溃。Benedetto说，这类可能引发系统崩溃的情况大概三天才会出现一次，但仍然过于频繁了，以致惹人恼怒。一旦数据库罢工，”无论这种情况什么时候发生，未缓存的数据都不能从SQL Server获得，那么你就必然看到一个’意外错误’提示。”他解释说。

去年夏天，MySpace的Windows 2003多次自动停止服务。后来发现是操作系统一个内置功能惹的祸–预防分布式拒绝服务攻击（黑客使用很多客户机向服务器发起大量连接请求，以致服务器瘫痪）。MySpace和其他很多顶级大站点一样，肯定会经常遭受攻击，但它应该从网络级而不是依靠Windows本身的功能来解决问题–否则，大量 MySpace合法用户连接时也会引起服务器反击。

“我们花了大约一个月时间寻找Windows 2003服务器自动停止的原因。”Benedetto说。最后，通过Microsoft的帮助，他们才知道该怎么通知服务器：”别开枪，是友军。”

紧接着是在去年7月某个周日晚上，MySpace总部所在地洛杉矶停电，造成整个系统停运12小时。大型Web站点通常要在地理上分布配置多个数据中心以预防单点故障。本来，MySpace还有其他两个数据中心以应对突发事件，但Web服务器都依赖于部署在洛杉矶的SAN。没有洛杉矶的SAN， Web服务器除了恳求你耐心等待，不能提供任何服务。

Benedetto说，主数据中心的可靠性通过下列措施保证：可接入两张不同电网，另有后备电源和一台储备有30天燃料的发电机。但在这次事故中，不仅两张电网失效，而且在切换到备份电源的过程中，操作员烧掉了主动力线路。

2007年中，MySpace在另两个后备站点上也建设了SAN。这对分担负荷大有帮助–正常情况下，每个SAN都能负担三分之一的数据访问量。而在紧急情况下，任何一个站点都可以独立支撑整个服务，Benedetto说。

MySpace仍然在为提高稳定性奋斗，虽然很多用户表示了足够信任且能原谅偶现的错误页面。

“作为开发人员，我憎恶Bug，它太气人了。”Dan Tanner这个31岁的德克萨斯软件工程师说，他通过MySpace重新联系到了高中和大学同学。”不过，MySpace对我们的用处很大，因此我们可以原谅偶发的故障和错误。” Tanner说，如果站点某天出现故障甚至崩溃，恢复以后他还是会继续使用。

这就是为什么Drew在论坛里咆哮时，大部分用户都告诉他应该保持平静，如果等几分钟，问题就会解决的原因。Drew无法平静，他写道，”我已经两次给MySpace发邮件，而它说一小时前还是正常的，现在出了点问题……完全是一堆废话。”另一个用户回复说，”毕竟它是免费的。 “Benedetto坦承100%的可靠性不是他的目标。”它不是银行，而是一个免费的服务。”他说。

换句话说，MySpace的偶发故障可能造成某人最后更新的个人资料丢失，但并不意味着网站弄丢了用户的钱财。”关键是要认识到，与保证站点性能相比，丢失少许数据的故障是可接受的。”Benedetto说。所以，MySpace甘冒丢失2分钟到2小时内任意点数据的危险，在SQL Server配置里延长了”checkpoint”操作–它将待更新数据永久记录到磁盘–的间隔时间，因为这样做可以加快数据库的运行。

Benedetto说，同样，开发人员还经常在几个小时内就完成构思、编码、测试和发布全过程。这有引入Bug的风险，但这样做可以更快实现新功能。而且，因为进行大规模真实测试不具可行性，他们的测试通常是在仅以部分活跃用户为对象，且用户对软件新功能和改进不知就里的情况下进行的。因为事实上不可能做真实的加载测试，他们做的测试通常都是针对站点。

“我们犯过大量错误，”Benedetto说，”但到头来，我认为我们做对的还是比做错的多。”

一五一食：椰香荔枝大虾

高山流水 — Sat, 21 Jun 2008 15:15:22 +0000

今天夏至，当然吃荔枝。既然周末，那就换个吃法吧～

冰镇后新鲜荔枝约二十只。

剥皮去核后待用。

鲜虾半斤。

去头去壳，恩，这道工序最耗时间，所以不妨先准备些冰，处理过程中可以用来保持鲜味。

姜丝，蒜米，必不可少的了，当然，有些大葱更好。

热锅，下油，猛火爆香佐料。

将虾仁下锅，加入白酒数滴（偶加的剑南春…），爆炒至虾仁弯曲。

没有椰精了，只能用常见的椰汁。半杯椰汁，兑入生粉做芡。

倒入芡汁，倒入荔枝，翻炒半分钟至芡汁沸腾，即可起锅。

火候掌握不好，有些许败笔。不过虾仁弹性十足，椰香四溢，荔枝经过翻炒，酸甜可口，并微带酒香，实在是夏日之中的开胃美食。

Firefox3支持颜色管理

高山流水 — Thu, 19 Jun 2008 02:56:01 +0000

谓色彩管理，就是在电脑屏幕上，能真实的还原现实世界的色彩的相关技术。一直以来，颜色管理都是mac的专利，windows平台虽然提供了ICM，但效果并不好，所以在vista中，我们看到了WCS，但终究不如人意。在这个广色域摄像设备、影像格式层出不穷的时代，我们在windows上看到的很多精致图片，其实颜色都是错误的。

上午收到曾蕾老师转发的email，告诉我Firefox3支持用户定制的颜色管理。用户如何用？开发者是否需要提供支持？该如何支持？好奇之下，试了一下这个功能，虽然没有认真的调整显示器的ICC，但效果的确有所差别，不过，启用了这个效果之后，firefox会变慢，也只能玩玩而已了。

要启用颜色管理的功能，首先，你要升级到Firefox3，然后通过以下两种方法之一启用。

方法1：安装颜色管理插件，现在的版本是0.4。下载时候，需要你先免费注册。安装过程比较简单，安装完成后，通过点击“工具”—“附加插件”—“Color Management”，弹出色彩管理窗口，点击“选项”按钮，然后在选择显示器的ICC文件（什么是ICC？如何创建？一般来说，安装了photoshop之后，安装目录下的Color/Profiles下会有ICC文件，安装了打印机之后，在系统盘的windows/system32/spool/drivers/color下会有ICC文件），重启Firefox，即可实现。在“选项”旁的“启用/禁用”按钮，可以实现颜色管理功能的开启和关闭。

方法2：手动启用颜色管理功能。在firefox地址栏中输入“about:config”，然后回车，点击“我保证会小心”，跳过警告，然后在过滤器中输入“gfx”，即可看到“gfx.color_management.enabled”项，双击该选项，将值改为“true”，并将“gfx.color_management.display_profile”一项的值设定为显示器的ICC文件的路径，重启Firefox即可启用。

Firefox3仍有许多振奋人心的功能有待启用，例如“拖曳链接从新窗口打开”，“全页面缩放”，“离线web”等，都非常值得期待。

开源单点登录系统

高山流水 — Wed, 18 Jun 2008 09:23:03 +0000

用成熟的开源单点登录软件，抑或根据自己的简单需求进行开发？

目前在考察中的两个开源项目：

Yale CAS：http://www.ja-sig.org/products/cas/，Central Authentication Service，耶鲁大学开发的，很受欢迎。基于ticket认证，个头比较小，通过几个servlet运行于独立平台上实现服务，在耶鲁大学、加州大学、剑桥大学及香港科技大学等得到应用。
josso：http://www.josso.org/，各方面的评价都不错，比较成熟。支持LDAP，支持部署到PHP/ASP的应用中。

如果你知道，有更好的单点登录系统或模块——主要是指更小巧——请推荐给我，mail：gsls.info@gmail.com

更多的开源资源：http://www.open-open.com/

奇人奇词：词二首

高山流水 — Sun, 15 Jun 2008 04:47:40 +0000

词二首
作者：王兆山

江城子.废墟下的自述

一位废墟中的地震遇难者，冥冥之中感知了地震后地面上发生的一切，遂发出如是感慨——

天灾难避死何诉，
主席唤，总理呼，
党疼国爱，声声入废墟。
十三亿人共一哭，
纵做鬼，也幸福。
银鹰战车救雏犊，
左军叔，右警姑，
民族大爱，亲历死也足。
只盼坟前有屏幕，
看奥运，同欢呼。

钗头凤

川之吟
山青秀，水碧透，
峰塌须臾河毁骤。
城飞歌，乡飘乐，
楼崩灵折，村消屯破。
祸。祸。祸。
国殇忧，八方吼，
令发京城动九州。
红旗烁，军歌越，
救川举国，不弃一个。
魄！魄！魄！

G一下吧：王兆山

想起屈原的“长太息以淹涕兮，哀民生之多难”，想起郑板桥的“衙斋卧听萧萧竹，疑是民间疾苦声”。不由得对这个现实和人生，失望无比。

本想摘抄一些网友和诗在此，但已无丝毫气愤，只是无限的悲哀，诸位自己看吧：

凤凰资讯：http://news.ifeng.com/society/2/200806/0612_344_593774.shtml
天涯社区：http://cache.tianya.cn/publicforum/content/no04/1/710323.shtml
人民网强国社区：http://bbs.people.com.cn/postDetail.do?boardId=24&treeView=1&view=2&id=86688646
博客日报：http://www.bokerb.com/logshow.asp?id=44189
奇虎：http://www.qihoo.com/wenda.php?kw=%CD%F5%D5%D7%C9%BD%B5%C4%A1%B6%B4%CA%B6%FE%CA%D7%A1%B7%D4%AD%CE%C4%CA%C7%CA%B2%C3%B4%A3%BF&ff=1&do=search&noq=q&src=iask
搜狐圈子：http://q.sohu.com/forum/20/topic/2646372
天伦之乐：http://www.litianlun.com/?p=331
Chinese contemporary art：http://blog.artron.net/indexold.php?action/viewspace/itemid/165633
……

还是重温一下杜甫的《茅屋为秋风所破歌》，文人风骨，高下立见。

八月秋高风怒号，卷我屋上三重茅。
茅飞渡江洒江郊，高者挂罥长林梢，下者飘转沉塘坳。
南村群童欺我老无力，忍能对面为盗贼。
公然抱茅入竹去，唇焦口燥呼不得，归来倚杖自叹息。
俄顷风定云墨色，秋天漠漠向昏黑。
布衾多年冷似铁，骄儿恶卧踏里裂。
床头屋漏无干处，雨脚如麻未断绝。
自经丧乱少睡眠，长夜沾湿何由彻！
安得广厦千万间，大庇天下寒士俱欢颜，风雨不动安如山！
呜呼！何时眼前突兀见此屋，吾庐独破受冻死亦足！

几款免费ftp服务器软件

高山流水 — Tue, 10 Jun 2008 04:37:48 +0000

看了一下Serv-U的官网报价，有点贵了，还是享用免费的大餐吧！

Quick Easy FTP Server：一个全中文FTP服务器软件，反应迅速，操作方便，实现了包括完整的帐户管理,便捷的服务器配置,安全性设置,在线用户信息, 服务器日志, 实时数据统计等标准FTP服务器所应具有的功能。支持断点续传，具有完整的帮助系统。

下载地址：http://www.crsky.com/soft/7348.html

FileZilla Server：一个消耗系统资源极少，却十分好用的ftp服务器软件。具有组配置、速度限制、在线用户管理等功能。推荐！

下载地址：http://filezilla-project.org/download.php?type=server

Xlight FTP Server：一个功能非常强大的ftp服务器，支持SSL、ODBC、虚拟目录、IPv6等，有独创的网络算法，体现出更强得性能。有个人、标准、专业三个版本，在30天的试用期内，会以专业版本的功能运行，试用期后, 如果没有注册，FTP服务器自动变成个人版本运行。个人版功能就弱了很多，仅支持5个并发用户。但是如果用于数据备份等工作，该系统仍然是较佳的选择。