推荐10篇架构、大数据方面的干货

推荐10篇架构、大数据方面的干货
/*360*300 创建于 2016-01-19*/ var cpro_id = "u2499205"; 推荐10个不错的架构、大数据方面的演讲。感兴趣的读者可以扫二维码查看。 今日头条User Profile系统架构实践  推荐系统中最核心的数据之一是 user profile 数据。需要从大量历史用户行为中分析和挖掘各种维度的特征,来刻画用户的兴趣偏好。今日头条架构师丁海峰介绍了今日头条 user profile 系统的现状,面临的问题,系统...

我为开源做贡献,网页正文提取——Html2Article

我为开源做贡献,网页正文提取——Html2Article
/*360*300 创建于 2016-01-19*/ var cpro_id = "u2499205"; 为什么要做正文提取 一般做舆情分析,都会涉及到网页正文内容提取。对于分析而言,有价值的信息是正文部分,大多数情况下,为了便于分析,需要将网页中和正文不相干的部分给剔除。可以说正文提取的好坏,直接影响了分析结果的好坏。 对于特定的网站,我们可以分析其html结构,根据其结构来获取正文信息。先看一下下面这张图:...

今日头条的核心架构解析

今日头条的核心架构解析
今日头条创立于2012年3月,到目前仅4年时间。从十几个工程师开始研发,到上百人,再到200余人。产品线由内涵段子,到今日头条,今日特卖,今日电影等产品线。 下面我为大家介绍今日头条的架构和发展历史。 产品背景 今日头条是为用户提供个性化资讯客户端。下面就和大家分享一下当前今日头条的数据(据内部与公开数据综合): 5亿注册用户 其中:2014年5月1.5亿,2015年5月3亿,2016年5月份为5亿。几乎...

使用Fiddler对移动APP应用进行抓包总结

使用Fiddler对移动APP应用进行抓包总结
最近在做APP的接口测试,研究了一下Fiddler的使用,发现对于移动APP测试Fiddler是一个非常好用的工具。下面对Fiddler的使用做一个总结。  Fiddler官方下载地址:http://fiddler2.com/ 安装后打开界面效果图如下: 每一个标签的说明这里不细说了,只说下抓包需要进行的操作: 1、因为fiddler抓包的原理就是通过代理,所以被测终端需要和安装fiddler的电脑在同一个局域网中。 2、开启Fiddler的远程连...

Logback关闭某一级别日志

Logback关闭某一级别日志
在classpath下(一般为src目录)创建: logback.xml或logback-test.xml(后者优先级高) 内容为: <?xml version="1.0" encoding="UTF-8"?><configuration> <appendername="STDOUT"class="ch.qos.logback.core.ConsoleAppender"> <encoder> <pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</pattern> </encoder> </appende...

10个SQL注入工具

10个SQL注入工具
英文原文:darkreading,翻译:CSDN 众所周知,SQL注入攻击是最为常见的Web应用程序攻击技术。同时SQL注入攻击所带来的安全破坏也是不可弥补的。以下罗列的10款SQL注入工具可帮助管理员及时检测存在的漏洞。 BSQL Hacker BSQL Hacker是由Portcullis实验室开发的,BSQL Hacker 是一个SQL自动注入工具(支持SQL盲注),其设计的目的是希望能对任何的数据库进行SQL溢出注入。 BSQL Hacker的适用群体是那些对...

搜索引擎选择: Elasticsearch与Solr

搜索引擎选择: Elasticsearch与Solr
搜索引擎选型调研文档 Elasticsearch简介* Elasticsearch是一个实时的分布式搜索和分析引擎。它可以帮助你用前所未有的速度去处理大规模数据。 它可以用于全文搜索,结构化搜索以及分析,当然你也可以将这三者进行组合。 Elasticsearch是一个建立在全文搜索引擎 Apache Lucene™ 基础上的搜索引擎,可以说Lucene是当今最先进,最高效的全功能开源搜索引擎框架。 但是Lucene只是一个框架,要充分利用它的功能...

mysql中间件研究(Atlas,cobar,TDDL)

mysql中间件研究(Atlas,cobar,TDDL)
mysql-proxy是官方提供的mysql中间件产品可以实现负载平衡,读写分离,failover等,但其不支持大数据量的分库分表且性能较差。下面介绍几款能代替其的mysql开源中间件产品,Atlas,cobar,tddl,让我们看看它们各自有些什么优点和新特性吧。 Atlas Atlas是由 Qihoo 360, Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它是在mysql-proxy 0.8.2版本的基础上,对其进行了优化,增加了...