2008-08-30 Sat

11:07 浅析网购模式(3) (809 Bytes) » 淘宝数据仓库团队

用户变量:消费个性
创新个性
 强调社会认可:
 强调产品特质:搜索宝贝次数多、广泛阅读文字内容
 强调独特:
 强调变化:高科技的倾向性、快速淘汰的倾向性
认知个性
 认知需要:可视信息与文字信息
物质个性
 冲动消费:
 固定消费:执着且倾尽努力的搜刮
 强迫消费:一上网就抑制不住消费
形象个性
 品牌与个体形象的匹配
 工作时间内外的自我形象差异
 浏览所反映的理想自我形象与社会性产品
 收藏所反映的期望自我形象与神奇性产品 (more…)

11:01 浅析网购模式(2) (620 Bytes) » 淘宝数据仓库团队

用户变量:人口统计
地理统计
 超级城市、一级城市、二级城市所反映的消费水平
 不同地区的消费文化
 地理联系所反映的线上和线下交易
人口统计
 时代的烙印:70年代,80前段,80后段
 阶段生命:
  单身期:单一性别类目
  蜜月期:同时男女类目
  哺育期:母婴
  培养期:教辅
 阶段心理:学校、适应社会、奋斗、成就 (more…)

10:55 浅析网购模式(1) (658 Bytes) » 淘宝数据仓库团队

一点纸上谈兵,仅供看过拉倒。。。

用户网购模式
时间敏感
  为购物花费的时间成本将超过工作和休息获益
  不大对比价格、不关注优惠券、注重便利
鼠标水泥
  在线挑选离线购买——价格透明与购物安全
  离线挑选在线购买——购物尝试与价格得利
上瘾网虫
  有很多时间用于网络(内容与商品)消费
时尚体验
  冲动购买、广告购买、社会性购买、传播购买 (more…)

10:38 数据挖掘与知识发现(2) (1221 Bytes) » 淘宝数据仓库团队

这两天遇到一些数据挖掘对于互联网的意义的讨论,说一下自己的浅见——在于实现网站信息智能处理的产品。

我并不特别认同“知识发现”这种说法:我们可以看到——从C5的算法反复模拟正反例统计的过程,这更像是替代人类手工作业的流水线、而不是模拟福尔摩斯似的推理;一个消费计算的回归方程有哪些变量(弹性、价格、份额、固定支出、如何加总?。。。)应该囊括?又应该选取自然的、还是指数抑或对数的形式?看起来除了人类的孜孜研究之外并无他法,机器只能完成最后一步即求解系数(经济学家们在计算机出现以前即可手工求解); 无监督的就更依赖人对这个世界的主观认识。

广义的AI诸如图像识别、IR、NLP都在自动识别领域开花结果,是人脑无力分辨吗?显然是人类在有限的生命里无力穷尽那么多作业,所以交给效率极高但比较笨拙的机器来做meachine learing——人类能一眼识别一个歪歪扭扭的字母,算法却不能;人类不能在数分钟内把扫描书籍转化为文本,OCR软件却可以。

05:55 看片会与 Sun 用户组活动归来 (2088 Bytes) » DBA notes

上午先在公司解决了一下 Nginx 上跑 Awststs 的问题。然后出门了。计划中我的分享从 3 点开始,先绕道去看一下王晓峰导的 DV 看片会。赶到凡人咖啡馆,都已经没位置了,只好在前面水管上坐着。不得不说,这个咖啡馆在这个下午成了全杭州小资的密集聚集地。

王小峰导演(在字幕上用"小"而不是"晓")简单的做了致辞,告诉大家做字幕的小伙子很辛苦,同时现在的这个版本配音效果有点问题。然后就开演啦。片名《你丫真狠》,讲的是狗仔队的事儿。编剧很见功力,导演水平也明显比前面的《小强历险记》和《十面埋妇》有进步。可惜因为时间关系,我只看了一半就走了,还不知道后半部剧情如何发展的。

在预定的时间前赶到了青藤茶馆,参加活动的人来得不少,大家对技术的热情可见一斑,只是杭州的技术活动相对比较少。今天美中不足的是场地有点小,多少有点局限。中场休息了一会儿,开始我的分享,基本上讲一小段会回答一到两次提问,这种交互式的交流我还是比较喜欢的。如果完全对着 PPT 对很多人讲,其实效果不那么好的。整个 PPT 主要部分在这几个实践点:

  • 建立基准测试(IO层、网络、Cache、App 等)
  • 持久性 Connection("连接风暴"问题)
  • 选取合适的数据类型
  • 非关系型数据的存储选择
  • 分区与 Sharding
  • 反范式
  • 抛弃存储过程封装业务逻辑的思路

没有内容只有骨架,在这里看起来好像干巴巴的。希望有时间能就这个话题写一篇文稿出来。今天同行的还有同事简朝阳,他最近在 MySQL 方面做了不少研究。

--EOF--

05:33 EM (689 Bytes) » 梦想有多远
最近在装一套10.2.0.4 for linux x86_64 RAC系统时.EM老是搞不定.结果在METALINK发下这么一段,倒霉.小BUG,之前装了一套就没问题.信息如下记之 Known issue emca completes successfully but with the following warning: 06-Oct-2006 17:57:05 oracle.sysman.emcp.EMReposConfig stopDBMSJobs WARNING: Error initializing SQL connection. SQL operations cannot be performed 06-Oct-2006 17:57:05 oracle.sysman.emcp.EMReposConfig invoke WARNING: Unable to remove DBMS jobs. Enterprise Manager configuration completed successfully FINISHED EMCA at 06-Oct-2006 18:06:20 This issue has been logged in the internal bug (not visible through METALINK): Bug: WHILE DECONFIG [...]

  2008-08-29 Fri

21:30 Oracle 2007年度数据库市场再占首位 (3571 Bytes) » Oracle Life

©作者:eygle 发布在 eygle.com

根据Gartner公司最近发布的关系数据库市场2007年市场份额报告,Oracle以48.6%的高份额再占首位。
而2006年Gartner的统计数据显示Oracle的市场份额为47.9%,也就是说在2007年度,Oracle获得了0.7%的份额增长。

Oracle官方网站已经发布了这一消息

Gartner 2007 Worldwide RDBMS Market Share Reports 48.6% Share for Oracle (*)

Gartner has published their market share numbers by operating system for 2007 based on total software revenues. According to Gartner, Oracle

* Has 48.6 percent share (up from 47.9 percent in 2006) growing at 14.9 percent
* Is growing faster than the market average of 13.3 percent with US$8.29 Billions in revenues
* Continues to hold more market share than its two closest competitors combined

(*) Source: Market Share: Relational Database Management System Software by Operating System, Worldwide, 2007 - Colleen Graham, Bhavish Sood, Horiuchi Hideaki, Dan Sommer - July 11, 2008

除了Oracle之外,微软也在继续获得增长。
由于在亚洲和东欧销售强劲,2007年微软数据库软件销售额增长了16.5%,为31亿美元,同时微软的市场份额由17.6%提高到了18.1%
据专家分析,微软软件日益受到青睐的原因在于,与甲骨文和IBM的产品相比,微软基本版数据库软件中包含有更多功能,同时微软的产品更便宜。

在2007年,Oracle数据库软件销售额增长了14.9%,为83亿美元。甲骨文刺激销售的策略是不断推出新功能,向现有客户群销售这些新功能。这一战略已经获得了成功。

而根据Gartner的统计数据,2007年IBM数据库软件销售额增长了10%,为35亿美元,但是市场份额则由21.3%滑坡至20.7%。据说制约IBM数据库软件销售增长速度的一个因素是,IBM数据库软件客户通常在该公司的硬件上运行软件,IBM硬件的增长速度低于运行微软和甲骨文数据库软件的硬件。微软的数据库软件主要运行在Windows Server平台上,甲骨文的数据库软件则主要运行在Linux平台上。

在2007年171亿美元的数据库软件市场上,甲骨文、IBM、微软这三大巨头的市场份额达到了87%。其他商用数据库软件产品的份额不断萎缩。

-The End-

相关文章|Related Articles

评论数量(0)|Add Comments

本文网址:

19:05 杀蟑螂 (2046 Bytes) » 玉面飞龙的BLOG
蟑螂不好杀啊,总结一下我使用过的方法,给后来人留下一点宝贵的经验。 小强分品种,一般比较大的,有大拇指那么长的是国产本地货,科学名称叫做”黑胸大蠊”;比较小的,就叫做”德国小蠊”,进口货,德国小强的生命能力比”黑胸大蠊”强很多。 刚开始去买香雾诱杀剂。就是点燃熏香,将蟑螂引诱出来,熏倒,但并不是杀死,蟑螂喜欢这个味道,跟喝酒一样,吸毒吸晕了。各大超市都有卖。这样蟑螂就会晕倒在明面上,方便清扫。当然引燃的”毒雾”是狠毒的,人畜都杀。后来的结果是,黑胸大蠊都被诱杀了,死了20几只,后来再也没有看到大个的蟑螂。但是对德国小强不管用,它们活得好好的。 后来买喷杀的气雾剂,杀手牌的。对着小强或者小强经常出没的地方喷。对着小强喷杀的时候,小强立马四抓朝天,了地上了;但你出门转一圈回来,发现小强又不见了,估计是又醒了。失望。 后来在超市买了”小强最后的晚餐”,枪手牌。也没有什么作用。没见到有小强的尸体。 然后听人说,放花椒,可以驱走小强。但后来尝试,也不管用。 我还在网上看到有时用洋葱得,据说小强讨厌洋葱。尝试后也不用管用。小强不爱吃洋葱,但没有得吃了也会在洋葱上爬来爬去的。 后来在门口一元店买了几包药粉。1块1包。在蟑螂经常出没的地方放着。挺管用的。杀死不少小强。可以在明面上看到死去的小强,是彻底的死掉,活不过来的彻底死掉。但肯定有些小强客了药之后死在角落里。需要经常整理房间,清理死角。要不然比较恶心人。 搞得我还要经常清理房间。我租房快到期了,还是打算搬走。小强不好灭杀,每天去公司,打开笔记本,都能看到几只特别小的小强丛笔记本里钻出来。烦啊。
10:30 小议compress表 (50920 Bytes) » OracleBlog.cn

总体说来,compress table的原来和compress index原理大致相同,compress table是压缩某表的同一字段下的相同的行,compress index是压缩复合索引中同一字段(一般是第一、二个字段)的相同行。

compress表可以通过user_tables.COMPRESSION查看是否是压缩表:

SQL> create table t_nocompress (a varchar2(20),b number,c number);
 
Table created.
 
SQL>
SQL>
SQL> create table t_compress (a varchar2(20),b number,c number) compress;
 
Table created.
 
SQL
SQL> create table tab_for_insert (a varchar2(20),b number,c number);
 
Table created.
 
SQL> insert into tab_for_insert select 'aa'||rownum,rownum,rownum from dba_objects;
 
88138 rows created.
 
SQL> insert into tab_for_insert select 'bb'||rownum,rownum,rownum from dba_objects;
 
88138 rows created.
 
SQL> insert into tab_for_insert select 'cc'||rownum,rownum,rownum from dba_objects;
 
88138 rows created.
 
SQL> /
 
88138 rows created.
 
SQL> commit;
 
Commit complete.
 
SQL>
SQL> update tab_for_insert set b=mod
 
2 
SQL>
SQL> update tab_for_insert set b=mod(b,10);
 
352552 rows updated.
 
SQL> update tab_for_insert set c=mod(c,5);
 
352552 rows updated.
 
SQL> commit;
 
Commit complete.
 
SQL>
SQL>
SQL>
SQL> insert into  TAB_FOR_INSERT select * from TAB_FOR_INSERT;
 
352552 rows created.
 
SQL> /
 
705104 rows created.
 
SQL> /
 
1410208 rows created.
 
SQL> /
 
2820416 rows created.
 
SQL> /
 
5640832 rows created.
 
SQL> /
 
11281664 rows created.
 
SQL> commit;
 
Commit complete.
 
SQL> select table_name,COMPRESSION from user_tables;
 
TABLE_NAME                     COMPRESS
----------------------------
-- --------
TAB_FOR_INSERT                 DISABLED
T_COMPRESS                     ENABLED
T_NOCOMPRESS                   DISABLED
 
SQL>

1.compress表和一般表的体积的比较以及insert时间差距:

SQL> insert /*+ append */ into T_NOCOMPRESS select * from TAB_FOR_INSERT;
 
22563328 rows created.
 
Elapsed: 00:00:45.50
SQL>
SQL>
SQL> insert /*+ append */ into T_COMPRESS select * from TAB_FOR_INSERT;
 
22563328 rows created.
 
Elapsed: 00:02:54.41
 
SQL> commit;
 
Commit complete.
 
 
SQL> select segment_name,bytes from user_segments where segment_name in ('T_COMPRESS','T_NOCOMPRESS') ;
 
SEGMENT_NAME                        BYTES
----------------------------
-- ----------
T_NOCOMPRESS                    475004928
T_COMPRESS                      349175808

2.比较用order和不用order的表大小:

SQL> insert /*+ append */ into T_COMPRESS select * from TAB_FOR_INSERT order by c,a,b;
    
22563328 rows created.
 
Elapsed: 00:04:17.49
 
SQL> select segment_name,bytes from user_segments where segment_name in ('T_COMPRESS');
 
SEGMENT_NAME                        BYTES
----------------------------
-- ----------
T_COMPRESS                      258998272
 
Elapsed: 00:00:06.12
 
--而没用
order by之前的大小是:
SEGMENT_NAME                        BYTES
----------------------------
-- ----------
T_COMPRESS                      349175808

3.非压缩表和压缩表之间的转换:

--改成压缩表
SQL> alter table T_NOCOMPRESS compress;
 
Table altered.
 
Elapsed: 00:00:00.02
--没做
move之前的大小
SQL> select segment_name,bytes from user_segments where segment_name in ('T_NOCOMPRESS');
 
SEGMENT_NAME                        BYTES
----------------------------
-- ----------
T_NOCOMPRESS                    475004928
 
Elapsed: 00:00:04.04
SQL>
SQL>
SQL> alter table T_NOCOMPRESS move;
 
Table altered.
 
Elapsed: 00:02:41.51
SQL>       
 
--
move之后的大小
SQL>
SQL> select segment_name,bytes from user_segments where segment_name in ('T_NOCOMPRESS');
 
SEGMENT_NAME                        BYTES
----------------------------
-- ----------
T_NOCOMPRESS                    349175808
 
Elapsed: 00:00:04.25

4.也可以像压缩复合索引一样,指定compress度:

SQL> select segment_name,bytes from user_segments where segment_name in ('T_NOCOMPRESS');
 
SEGMENT_NAME                        BYTES
----------------------------
-- ----------
T_NOCOMPRESS                    427819008
 
Elapsed: 00:00:06.53
SQL>
SQL>
SQL>
SQL> alter table T_NOCOMPRESS compress 2;
 
Table altered.
 
Elapsed: 00:00:00.03
SQL>
SQL> alter table T_NOCOMPRESS move;
 
Table altered.
 
Elapsed: 00:02:39.96
SQL>   select segment_name,bytes from user_segments where segment_name in ('T_NOCOMPRESS');
 
SEGMENT_NAME                        BYTES
----------------------------
-- ----------
T_NOCOMPRESS                    349175808

5.数据库9206中有bug,不能add/drop columns:

SQL> alter table T_COMPRESS add d number;
alter table T_COMPRESS add d number
                           *
ERROR at line 1:
ORA-22856: cannot add columns to object tables
 
 
Elapsed: 00:00:00.03
SQL>
--该
bugDoc IDNote:217292.1 ,或bug 2421054
 
 
可以用以下方法绕过:
1.alter table nocompress
2.move
注意上述
2个步骤,执行完第一步后,继续执行第二步才能完成;如果在执行第一步后,尝试add column,仍报错,再move之后,将同样也不能add column
SQL> alter table T_COMPRESS nocompress;
 
Table altered.
 
Elapsed: 00:00:00.02
 
SQL>
SQL> alter table T_COMPRESS add z number;
alter table T_COMPRESS add z number
                           *
ERROR at line 1:
ORA-22856: cannot add columns to object tables
 
 
Elapsed: 00:00:00.01
SQL>
SQL>
SQL> alter table T_COMPRESS move;
 
Table altered.
 
Elapsed: 00:00:39.91
SQL>   
SQL>
SQL> alter table T_COMPRESS add z number;
alter table T_COMPRESS add z number
                           *
ERROR at line 1:
ORA-22856: cannot add columns to object tables
 
--必须采用执行完以下
2步后再add
SQL> alter table T_COMPRESS nocompress;
 
Table altered.
 
Elapsed: 00:00:00.03
SQL> alter table T_COMPRESS move;
 
Table altered.
 
Elapsed: 00:00:39.52
SQLalter table T_COMPRESS add z number;
 
Table altered.
 
Elapsed: 00:00:00.03
SQL>
07:30 问题拾遗 » Chanel [K]
06:25 北飞的候鸟 » Chanel [K]

  2008-08-28 Thu

08:08 既成事实还是将成事实? » 淘宝数据仓库团队
06:05 Perl监控AIX的网卡流量 » AnySQL.net
04:36 在 IBM Network Authentication Service for AIX 中增强密码强度 » developerWorks 中国 : 技术文章 , 教程 AIX
01:47 memcached 入门到理解 » 架构研究室
01:20 继续上面的话题(分区表) » stronghearted life
00:14 Perl AIX-Perfstat-0.03编程 » AnySQL.net

  2008-08-27 Wed

22:52 安装Perl AIX-Perfstat-0.03 » AnySQL.net
22:31 普通表改分区表遇到的问题 » stronghearted life
06:44 Unix高手的另外十个习惯 » Ricky's Blog on Testing and RAC
00:06 oracle的整合力量 » OracleBlog.cn

  2008-08-26 Tue

22:15 打算入手450D » Ricky's Blog on Testing and RAC
06:44 Service Management Facility快速入门 » Ricky's Blog on Testing and RAC
06:37 scstat unexpected error问题及解决 » Ricky's Blog on Testing and RAC

  2008-08-25 Mon

06:46 OCM exam guide - Prepair » Chanel [K]
04:15 对话 UNIX: 简单的按键操作 » oracle unix&linux技术
01:00 对话 UNIX: 简单的按键操作 » developerWorks 中国 : 技术文章 , 教程 AIX

  2008-08-24 Sun

07:46 测试JS引擎性能 » 架构研究室

  2008-08-23 Sat

 123
 123