"Times New Roman", Times, serif; align="center">Craigslist 数据库架构

Craigslist 绝对 互联网 一个传奇公司. 根据以前 一则报道：

每月超过 1000 万人使用该站服务, 月浏览量超过 30 亿次, (Craigslist每月新增 帖子近 10 亿条??)网站 网页数量在以每年近百倍 速度增长. Craigslist 至今却只有 18 名员工(现在可能会多一些了).

Tim O'reilly 采访了 Craigslist Eric Scheide , 于 通过这篇 Database War Stories #5: craigslist 我们能了解一下 Craigslist 数据库架构以及数据量信息.

数据库软件使用 MySQL . 充分发挥 MySQL 能力, 数据库都使用 64 位 Linux 服务器, 14 块 本地磁盘(72*14=1T ?), 16G 内存.

不同 服务使用不同方式 数据库集群.

论坛
1 主(master) 1 从(slave). Slave 大多用于备份. myIsam 表. 索引达到 17G. 大 表接近 4200 万行.

分类信息
1 主 12 从. Slave 各有个 用途. 当前数据包括索引有 114 G , 大表有 5600 万行(该表数据会定期归档). 使用 myIsam. 分类信息量有多大? "Craigslist每月新增 帖子近 10 亿条", 这句话似乎似乎有些夸张, Eric Scheide 说昨日就超过 330000 条数据, 如果这样估计 话, 每个月 新帖子信息大约在 1 亿多一些.

归档数据库
1 主 1 从. 放置所有超过 3 个月 帖子. 与分类信息库结构相似但 更大, 数据有 238G, 大表有 9600 万行. 大量使用 Merge 表, 便于管理.
搜索数据库
4 个 集群用了 16 台服务器. 活动 帖子根据 地区/种类划分, 并使用 myIsam 全文索引, 每个只包含一个子集数据. 该索引方案目前还能撑住, 未来几年恐怕就不成了.

Authdb
1 主 1 从, 很小.
目前 Craigslist 在 Alexa 上 排名 30, 上面 数据只 反映采访当时(April 28, 2006) 情况, 毕竟, Craigslist 数据量还在每年 200% 速度增长.

Craigslist 采用 数据解决方案从软硬件上来看还 低成本 . 优秀 MySQL 数据库管理员对于 Web 2.0 项目 一个关键因素.