楚門(mén)智能創(chuàng)始人，昆士蘭理工大學(xué)數(shù)據(jù)科學(xué)碩士，前阿里高級(jí)研發(fā)工程師，Cloudera認(rèn)證講師，Cloudera認(rèn)證大數(shù)據(jù)管理員；多年大數(shù)據(jù)行業(yè)經(jīng)驗(yàn)，原聯(lián)想電商大數(shù)據(jù)平臺(tái)負(fù)責(zé)人，主要科研方向?yàn)閿?shù)據(jù)科學(xué)，在自然語(yǔ)言處理領(lǐng)域有資深的經(jīng)驗(yàn),參與過(guò)多個(gè)百億級(jí)別得大數(shù)據(jù)項(xiàng)目，操作過(guò)真正得大數(shù)據(jù)集群。并擁有咨詢(xún)、大數(shù)據(jù)產(chǎn)品設(shè)計(jì)、商務(wù)等多方面得資深經(jīng)驗(yàn)。擅長(zhǎng)Spark、Hadoop等平臺(tái)架構(gòu)，講課風(fēng)格幽默風(fēng)趣、實(shí)戰(zhàn)為主。

國(guó)內(nèi)首批獲得美國(guó)cloudera 認(rèn)證大數(shù)據(jù)架構(gòu)師

精通課程

Spark相關(guān)技術(shù)

數(shù)據(jù)挖掘

Java及數(shù)據(jù)架構(gòu)

Python高級(jí)開(kāi)發(fā)系列課程

Android

大客戶(hù)培訓(xùn)經(jīng)驗(yàn)<部分>

中國(guó)電子科技集團(tuán)公司第28所-----------------云計(jì)算架構(gòu)與實(shí)踐

華為終端有限公司-----------------大數(shù)據(jù)助力用戶(hù)行為分析

廣州民航信息技術(shù)有限公司-----------------Hadoop 調(diào)優(yōu)與集群管理

廣東省通信產(chǎn)業(yè)服務(wù)有限公司朗訊-----------------大數(shù)據(jù)最佳實(shí)踐與建設(shè)技術(shù)

中國(guó)農(nóng)業(yè)銀行北京分公司-----------------金融大數(shù)據(jù)的困擾與解決方案

廣東電信-----------------云計(jì)算與大數(shù)據(jù)對(duì)電信的影響及技術(shù)架構(gòu)

……..

項(xiàng)目經(jīng)驗(yàn)<部分>

項(xiàng)目經(jīng)驗(yàn)

2014年至今：聯(lián)想網(wǎng)絡(luò)監(jiān)控大數(shù)據(jù)平臺(tái)-Spark

2014年至今：聯(lián)想自然語(yǔ)義分析平臺(tái)

2012/2-至今：某金融行業(yè)海量數(shù)據(jù)分析與存儲(chǔ)平臺(tái)

項(xiàng)目描述：某金融企業(yè)海量數(shù)據(jù)分析與存儲(chǔ)平臺(tái)，目前處于POC階段，主要用來(lái)解決大數(shù)據(jù)環(huán)境下，金融行業(yè)面對(duì)的挑戰(zhàn)與成本問(wèn)題

責(zé)任描述：架構(gòu)設(shè)計(jì)，重要模塊實(shí)現(xiàn)，Python 構(gòu)建的核心算法模塊

2012/5-至今：某國(guó)企知識(shí)庫(kù)系統(tǒng)

項(xiàng)目描述：基于云搜的一個(gè)企業(yè)應(yīng)用，主要用來(lái)處理企業(yè)內(nèi)部文檔搜索的需求

責(zé)任描述： 需求調(diào)研，架構(gòu)設(shè)計(jì)，Python 構(gòu)建的核心算法模塊

2012/1-至今：云計(jì)算實(shí)時(shí)分析ETL系統(tǒng)

項(xiàng)目描述：該項(xiàng)目為海量數(shù)據(jù)實(shí)時(shí)分析系統(tǒng)，可以處理實(shí)時(shí)數(shù)據(jù)分析的需求，如數(shù)據(jù)統(tǒng)計(jì)，網(wǎng)站分析數(shù)據(jù)統(tǒng)計(jì)等

責(zé)任描述：架構(gòu)設(shè)計(jì)

2011/9-至今：云搜

項(xiàng)目描述：該項(xiàng)目為解決大數(shù)據(jù)時(shí)代海量數(shù)據(jù)搜索而設(shè)計(jì)，解決了原有基于Solr等搜索的局限性與問(wèn)題

責(zé)任描述：架構(gòu)設(shè)計(jì)，Python Django架構(gòu)設(shè)計(jì)

2011/5 --至今：某國(guó)企指紋智能匹配平臺(tái)

項(xiàng)目描述： 匹配指紋系統(tǒng).系統(tǒng)能力達(dá)到2千萬(wàn)條指紋數(shù)據(jù)通過(guò)算法匹配,5秒內(nèi)返回結(jié)果.

責(zé)任描述： 架構(gòu)設(shè)計(jì)，Python 構(gòu)建的核心算法模塊

2011/1 --至今：海量數(shù)據(jù)實(shí)時(shí)分析平臺(tái)

項(xiàng)目描述： 該項(xiàng)目是我們自主研發(fā)的產(chǎn)品,全稱(chēng)為海量數(shù)據(jù)實(shí)時(shí)分析系統(tǒng).系統(tǒng)實(shí)現(xiàn)目標(biāo)為,對(duì)很多日志進(jìn)行實(shí)時(shí)的統(tǒng)計(jì),如網(wǎng)站的PV,UV,分類(lèi)的排名等.實(shí)基于日志的統(tǒng)計(jì)信息,能夠?qū)崿F(xiàn)準(zhǔn)實(shí)時(shí)的顯示統(tǒng)計(jì)結(jié)果,實(shí)現(xiàn)業(yè)務(wù)包括網(wǎng)站的PV,視頻,廣告點(diǎn)擊率等.功能強(qiáng)大,具有高可靠性,強(qiáng)擴(kuò)展性.

責(zé)任描述： 架構(gòu)設(shè)計(jì),研究

2011/1 --至今：海量數(shù)據(jù)自動(dòng)部署與智能運(yùn)維平臺(tái)

項(xiàng)目描述： 該項(xiàng)目為云平臺(tái)自動(dòng)部署運(yùn)維平臺(tái)，可以通過(guò)簡(jiǎn)單的配置，自動(dòng)安裝所有云平臺(tái)的組件。提供強(qiáng)大的運(yùn)維功能

責(zé)任描述： 架構(gòu)設(shè)計(jì)研發(fā)

2010/6 --至今：某國(guó)企電力項(xiàng)目海量數(shù)據(jù)收集分析

項(xiàng)目描述： 該項(xiàng)目為統(tǒng)計(jì)某地單位時(shí)間內(nèi)全部電表用電量情況。數(shù)據(jù)規(guī)模：3千萬(wàn)數(shù)據(jù)收集點(diǎn) 每分鐘9千萬(wàn)數(shù)據(jù)需要入庫(kù) 并同時(shí)產(chǎn)生實(shí)時(shí)分析數(shù)據(jù)結(jié)果，包括用電量等

責(zé)任描述： 架構(gòu)設(shè)計(jì)，Python 構(gòu)建的核心算法模塊

2010/4 --至今：大數(shù)據(jù)平臺(tái)

開(kāi)發(fā)工具： java shell

項(xiàng)目描述： 該項(xiàng)目為海量數(shù)據(jù)挖掘系統(tǒng)。采用了Hadoop 作為文件系統(tǒng)，并且采用了HBase hive作為分析工具 與 分布式數(shù)據(jù)庫(kù)。對(duì)Hadoop等有長(zhǎng)時(shí)間的研究

責(zé)任描述： 架構(gòu)，優(yōu)化，研發(fā)

2009/10 -- 2010/3 ：XXX號(hào)碼百事通預(yù)定平臺(tái)

項(xiàng)目描述： 該平臺(tái)為XXX電信 官方預(yù)定平臺(tái)，包含吃住行游購(gòu)?qiáng)剩喾矫孀稍?xún)及預(yù)定服務(wù)，同時(shí)整和了支付寶，翼支付等第三方支付平臺(tái)。項(xiàng)目中涉及到webservice freemaker等技術(shù)，包含了多平臺(tái)整和 其中有.net PHP

責(zé)任描述： 該項(xiàng)目中，擔(dān)任了項(xiàng)目經(jīng)理 主要是作了 單點(diǎn)登陸的實(shí)現(xiàn)，解決了跨平臺(tái)webservice速度慢的問(wèn)題，數(shù)據(jù)庫(kù)的優(yōu)化，SQL語(yǔ)句的優(yōu)化，并開(kāi)發(fā)了工具類(lèi)庫(kù)

2009/6 -- 2009/8 ：XXX移動(dòng)身份與認(rèn)證管理平臺(tái)手機(jī)客戶(hù)端

開(kāi)發(fā)工具： android2.1

項(xiàng)目描述： 該項(xiàng)目為移動(dòng)身份認(rèn)證管理平臺(tái)手機(jī)客戶(hù)端實(shí)現(xiàn) 包括ssl telnetd登錄 配置服務(wù)器等功能

責(zé)任描述： 本客戶(hù)端中 為項(xiàng)目經(jīng)理 軟件的設(shè)計(jì)開(kāi)發(fā) 與客戶(hù)的協(xié)調(diào)工作

2009/5 -- 2009/12 ：XXX人壽身份與認(rèn)證管理系統(tǒng)

軟件環(huán)境： Windows server 2003 , Weblogic 8.x ，Spring2.0 ，Struts,Hibernate

硬件環(huán)境： WINDOWS B/S ， CVS

開(kāi)發(fā)工具： JAVA(JDK1.5.8),采用MyEclipse6.0等工具開(kāi)發(fā)

項(xiàng)目描述： 該項(xiàng)目為XXX人壽的資源 身份認(rèn)證管理系統(tǒng)

責(zé)任描述： 需求調(diào)研，網(wǎng)元模塊開(kāi)發(fā)

2009/4 -- 2009/10 ：XXX移動(dòng)短信動(dòng)態(tài)網(wǎng)關(guān)認(rèn)證平臺(tái)

項(xiàng)目描述： XXX移動(dòng)短信動(dòng)態(tài)網(wǎng)關(guān)認(rèn)證平臺(tái).是為解決移動(dòng)集團(tuán)用戶(hù)通過(guò)VPN登錄集團(tuán)時(shí)，忘記密碼的情況而開(kāi)發(fā)的一款中間件，現(xiàn)該產(chǎn)品在移動(dòng)內(nèi)部使用，穩(wěn)定運(yùn)行，分1.0，2.0兩個(gè)版本，主要應(yīng)用技術(shù)有webservice等，認(rèn)證產(chǎn)品為cisco acs。主要采用的線(xiàn)程池，緩沖隊(duì)列來(lái)解決項(xiàng)目中并發(fā)數(shù)的問(wèn)題，采用的是LDAP，數(shù)據(jù)庫(kù)采用SQLSERVER。對(duì)并發(fā)量的控制有自己的見(jiàn)解

責(zé)任描述： 負(fù)責(zé)設(shè)計(jì)，開(kāi)發(fā)，需求調(diào)研等。全權(quán)負(fù)責(zé)開(kāi)發(fā)工作，負(fù)責(zé)所有功能的開(kāi)發(fā)，包括下發(fā)短信，取回密碼，VPN登陸

2009/1 --至今：XXX移動(dòng)身份與認(rèn)證管理平臺(tái)

軟件環(huán)境： apache jboss

開(kāi)發(fā)工具： apache jboss

項(xiàng)目描述： 簡(jiǎn)稱(chēng)為全網(wǎng)4a 我主要參與了3。0 3。1 版本的開(kāi)發(fā) 而且對(duì)產(chǎn)品升級(jí)提出了自己的見(jiàn)解，獲得領(lǐng)導(dǎo)的表?yè)P(yáng)。實(shí)現(xiàn)了對(duì)移動(dòng)身份及資源的管理，具體資源包括網(wǎng)元等核心設(shè)備。實(shí)現(xiàn)了自動(dòng)代添等功能，解決了移動(dòng)賬號(hào)口令認(rèn)證管理多方面需求 涉及到東西很多包括各種網(wǎng)元客戶(hù)端 及各種操作系統(tǒng)，同時(shí)包括安氏防火墻，安盟認(rèn)證等第三方安全產(chǎn)品,同時(shí)該項(xiàng)目數(shù)據(jù)庫(kù)為posgre 身份存儲(chǔ)為ldap。 項(xiàng)目中 我整和了安盟產(chǎn)品，并且開(kāi)發(fā)了網(wǎng)元模塊

責(zé)任描述： BS方面：參與系統(tǒng)的設(shè)計(jì)工作 需求分析，詳細(xì)設(shè)計(jì)，權(quán)限的設(shè)計(jì)，登陸模塊，并且開(kāi)發(fā)了流程管理，審計(jì)管理模塊，并且參與用戶(hù)溝通，并對(duì)組內(nèi)成員進(jìn)行輔導(dǎo)，技術(shù)難點(diǎn)攻克。CS:方面 運(yùn)用c++代添組件的開(kāi)發(fā) 包括華為

2008/9 -- 2008/12 ：XXX聯(lián)通合同管理系統(tǒng)

項(xiàng)目描述： XXX聯(lián)通合同管理系統(tǒng) 是XXX聯(lián)通客服服務(wù)部為了將XXX聯(lián)通的合同錄入 修改查看，數(shù)字化 并可以進(jìn)行網(wǎng)上審批 而委托我們做的一個(gè)簡(jiǎn)單的合同管理系統(tǒng)，屬于OA的一部分。由于該項(xiàng)目為黑龍江省聯(lián)通分公司的需求，所以整個(gè)系統(tǒng)的需求，設(shè)計(jì)，代碼，實(shí)現(xiàn)都是由我們委派到黑龍江的項(xiàng)目組來(lái)實(shí)現(xiàn)。項(xiàng)目中，由于具體業(yè)務(wù)的需求，我們采用的是我來(lái)封裝的struts框架，spring框架，及現(xiàn)有的hibernate來(lái)實(shí)現(xiàn)。

責(zé)任描述： 該項(xiàng)目中，由需求分析，軟件的設(shè)計(jì)，是由我來(lái)做，并且實(shí)現(xiàn)了一部分代碼功能，由我的同事來(lái)完成其他的工作。整個(gè)項(xiàng)目采用比較流行三層架構(gòu)即view層 service層 dao層，整個(gè)項(xiàng)目的接口由我設(shè)計(jì)