商业智能系统--公司运营、系统运行等的统计和分析

开篇

商业智能系统,Business Intelligence,BI,数据中心,叫法各异,职责相同,以下统一称为BI系统。

BI负载对于公司的运营效果、系统的运行情况及改版效果,基于数据层面,进行比较客观的统计和分析,为高层管理人员对于公司运营、为产品部门对于网站的设计及改版或算法调整前后效果,提供参考及考量。

BI系统的职责是统计分析相关的,对数据的实时性要求不高,允许一天以上的数据延迟;对于和具体的业务密切相关的、或者实时性要求高的统计分析,则不应该放到BI系统,而是应该放在各自的业务支持系统中去。

BI系统是一个数据系统,用来帮助企业更好地利用数据提高决策质量的技术集合,是从大量的数据中钻取信息与知识的过程。简单讲就是业务、数据、数据价值应用的过程。基础的BI是统计分析,BI的进阶是决策支持,从“之前发生了什么,为什么会发生”,到“现在发生了什么,将来会发生什么”。

名词解释

BI:商业智能(Business Intelligence)

ETL:  提取、转换和加载(Extraction-Transformation-Loading)

ODS:操作型数据存储( Operational Data Storage )

DW:数据仓库(Data Warehouse)

DM: 数据集市 (Data Mar) 、   数据挖掘(Data Mining)

OLAP:联机分析处理(Online Analysis Process)

系统解决办法

(1)根据统计的需要,进行数据抽取,从业务系统数据库中,抽取到BI数据库

  (a)、抽取的过程中,可能是每天定时、每小时定时、触发等方式,具体是要根据具体的场景

  (b)、抽取的逻辑,要能保证重复抽取,比如某天数据出现问题时。。。

  (c)、抽取的过程,可能涉及一些计算逻辑,比如对于毛利率的计算,需要商品的成本价,对于成本价的获取,可能就有一些逻辑

  (d)、数据抽取的办法,可以引入能简化开发工作量的第三方框架,比如dataX

(2)数据收集

  (a)、数据置标:根据业务的需要,一些数据需要置标,通过日志进行分析,或者把标记记录到数据库中,比如下单的:source、ref、pos

  (b)、网站流量:插码或者分析日志,http://blog.csdn.net/puma_dong/article/details/38943251#t12

  (c)、日志分析:收集用户访问路径,停留时间,退出页等

(3)结果呈现

  (a)、使用好的JS框架图形化呈现BI报表,比如JQuery插件,但是不推荐ExtJS框架,太过于封装及学习成本的原因

  (b)、短信提醒,重要结果的提醒

(4)公式定义

  (a)BI的产品定义,对要展示数据内容的明确定义,比如毛利率公式、转化率等。

系统功能设置

呈现:

(1)实时数据报表

(2)订单售后相关报表

(3)商品库存相关报表

(4)渠道广告相关报表

(5)网站流量相关报表

数据:

(1)流量统计

(2)数据抽取中间件

待续

没有骨架就没有血肉,所谓皮之不存,毛将焉附,想到一点就写下来,后续补充。。。

文章导航