网站离线数据安全分析漫谈
    吴翰清
   2012-07
Who am I?
• Alibaba security
  (7 years)



《白帽子讲web安全》
网站离线数据安全分析漫谈 2012cert
网站离线数据安全分析漫谈 2012cert
数据,安全分析

Data Analysis
一些开源项目
• Apache-scalp
• grep

•   规则集:
•   Php-ids
•   Mod-security
•   fuzzdb
有扫描了,
还需要分析日志吗?
漏洞 != 攻击
• 扫描能发现漏洞 (vulnerability)
 – 时间(time)、地点(apps)、起因(vulns)



• 分析日志能发现攻击 (Attack)
 – 时间(time)、地点(apps)、人物(source ip)
 – 起因(vulns)、经过(intrude path)、结果(lost)
Why not IPS/WAF?
• 在线数据分析:IPS/IDS/WAF

• 离线数据分析
 – 计算更复杂
 – 数据量更大
 – 并联、异步
 – 时效性不高
满足更复杂的需求
• 场景1:
 – 统计某XSS蠕虫感染的用户数


• 场景2:
 – 把网站的所有请求根据URL去重,提供给扫描
   器进行扫描
挑战与对策

大数据的传输    syslog-ng, ?

大数据的存储    hdfs

大数据的计算   map-reduce

实时性的提高    hbase?
现有流程

日志收集



 ETL


规则分析



结果输出
数据仓库?
处理能力
• 10亿+请求
• 半小时左右分析完,仍有提高空间
分析什么?
• 白名单的思想
• Referer
• url 字符集



• 产生过多噪音
• 降噪
检测XSS?
• 检测通用类型的攻击吗?
 – XSS
 – SQL INJECTION
 – FILE INCLUSION
 – CODE INJECTION
 – COMMAND EXECUTE
 – ……
• Alibaba的需求 vs 中小网站的需求
检测具体的exploits
• 漏洞库
漏洞 != 攻击 != 攻击成功
• 误报 404/403/500/503/301/302/…




• 有用吗?没用吗?有用吗?没用吗?
攻击验证
日志收集


 ETL


规则分析


攻击验证



结果输出
网站离线数据安全分析漫谈 2012cert
Webshell检测
Webshell分布
• 90%以上webshell为ddos
• 多数webshell是ddos、挂暗链、挂马
0.0026%为webshell请求
攻击检测
每当新漏洞公布时
DEDE CMS 5.7 SQLi (ssvid-60089)
Shopex4.8.5 SQLi (wooyun-2012-08597)
当然也能统计
展望未来
为中小网站提供数据安全分析服务

互联网安全的风向标
网站离线数据安全分析漫谈 2012cert

More Related Content

PPTX
Splunk資安智慧分析平台
PDF
Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data...
PPTX
Elasticsearch search engine_development_tips
PDF
自助工具助Dba提升效率
PDF
Query store查詢調校新利器
PPTX
数据架构方面的一些探讨
PDF
唯品会大数据实践 Sacc pub
PDF
Nginx深度開發與客制化
Splunk資安智慧分析平台
Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data...
Elasticsearch search engine_development_tips
自助工具助Dba提升效率
Query store查詢調校新利器
数据架构方面的一些探讨
唯品会大数据实践 Sacc pub
Nginx深度開發與客制化

What's hot (18)

PDF
No sql@vip new
PPTX
ELK Stack - Kibana操作實務
PDF
Sql server 2014 新功能探索
PDF
mercury
PPT
数据库性能模型与容量规划
PDF
X program-within-a-month
PPTX
大型电商的数据服务的要点和难点
PDF
給開發人員的資料庫效能建議
PPTX
Elastic stack day-1
PDF
Elastic Stack 最新动态
PDF
阿里开源经验分享
PPT
OTN软硬件结合数据库解决方案
PDF
2016-07-12 Introduction to Big Data Platform Security
PDF
Taobao casestudy-yufeng-qcon
PPTX
Exadata那点事
PDF
Full Stack Monitoring with Prometheus and Grafana (Updated)
PDF
開源技術建構訂票交易資料庫
PPTX
中大型规模的网站架构运维 Saac
No sql@vip new
ELK Stack - Kibana操作實務
Sql server 2014 新功能探索
mercury
数据库性能模型与容量规划
X program-within-a-month
大型电商的数据服务的要点和难点
給開發人員的資料庫效能建議
Elastic stack day-1
Elastic Stack 最新动态
阿里开源经验分享
OTN软硬件结合数据库解决方案
2016-07-12 Introduction to Big Data Platform Security
Taobao casestudy-yufeng-qcon
Exadata那点事
Full Stack Monitoring with Prometheus and Grafana (Updated)
開源技術建構訂票交易資料庫
中大型规模的网站架构运维 Saac

Similar to 网站离线数据安全分析漫谈 2012cert (20)

PDF
基礎網頁程式攻擊檢驗
PDF
用戶端攻擊與防禦
PPTX
淘宝双11双12案例分享
PPTX
The Construction and Practice of Apache Pegasus in Offline and Online Scenari...
PDF
Data Analyse Black Horse - ClickHouse
PPTX
1到100000000 - 分布式大型网站的架构设计
PDF
淺談物聯網巨量資料挑戰 - Jazz 王耀聰 (2016/3/17 於鴻海內湖) 免費講座
PDF
Hacking Nginx at Taobao
PPTX
WebConf 2013「Best Practices - The Upload」
PDF
2015-05-20 製造業生產歷程全方位整合查詢與探勘的規劃心法
PDF
天涯论坛的技术进化史-Qcon2011
PDF
Hadoop con 2015 hadoop enables enterprise data lake
PDF
分布式爬虫
PPTX
弹性计算云安全(Elastic Compute Cloud Security)
PDF
雲端分散架構的駭客事件與安全問題
PPTX
分布式缓存与队列
PDF
曲琳 购物搜索引擎架构的变与不变——一淘网搜索技术分享0731
PDF
Hiiir 資安講座 III 用戶端攻擊與防禦
PDF
美丽说的架构发展与变迁 New
PDF
Qcon2013 罗李 - hadoop在阿里
基礎網頁程式攻擊檢驗
用戶端攻擊與防禦
淘宝双11双12案例分享
The Construction and Practice of Apache Pegasus in Offline and Online Scenari...
Data Analyse Black Horse - ClickHouse
1到100000000 - 分布式大型网站的架构设计
淺談物聯網巨量資料挑戰 - Jazz 王耀聰 (2016/3/17 於鴻海內湖) 免費講座
Hacking Nginx at Taobao
WebConf 2013「Best Practices - The Upload」
2015-05-20 製造業生產歷程全方位整合查詢與探勘的規劃心法
天涯论坛的技术进化史-Qcon2011
Hadoop con 2015 hadoop enables enterprise data lake
分布式爬虫
弹性计算云安全(Elastic Compute Cloud Security)
雲端分散架構的駭客事件與安全問題
分布式缓存与队列
曲琳 购物搜索引擎架构的变与不变——一淘网搜索技术分享0731
Hiiir 資安講座 III 用戶端攻擊與防禦
美丽说的架构发展与变迁 New
Qcon2013 罗李 - hadoop在阿里

More from ph4nt0m (7)

PPT
2013qcon keynote hackingforfun
PPTX
Web指纹识别与快速扫描 public
PPTX
云计算时代的安全格局变化
PPTX
流行应用的加密算法实现缺陷与利用
PPTX
麻烦终结者
PPT
黑客江湖 阿里十周年分享
PPT
Web应用安全:过去,现在,未来(Public Ver)
2013qcon keynote hackingforfun
Web指纹识别与快速扫描 public
云计算时代的安全格局变化
流行应用的加密算法实现缺陷与利用
麻烦终结者
黑客江湖 阿里十周年分享
Web应用安全:过去,现在,未来(Public Ver)

网站离线数据安全分析漫谈 2012cert