/*360*300 创建于 2016-01-19*/ var cpro_id = "u2499205"; 推荐10个不错的架构、大数据方面的演讲。感兴趣的读者可以扫二维码查看。 今日头条User Profile系统架构实践  推荐系统中最核心的数据之一是 user profile 数据。需要从大量历史用户行为中分析和挖掘各种维度的特征，来刻画用户的兴趣偏好。今日头条架构师丁海峰介绍了今日头条 user profile 系统的现状，面临的问题，系统...

/*360*300 创建于 2016-01-19*/ var cpro_id = "u2499205"; 为什么要做正文提取 一般做舆情分析，都会涉及到网页正文内容提取。对于分析而言，有价值的信息是正文部分，大多数情况下，为了便于分析，需要将网页中和正文不相干的部分给剔除。可以说正文提取的好坏，直接影响了分析结果的好坏。 对于特定的网站，我们可以分析其html结构，根据其结构来获取正文信息。先看一下下面这张图：...

今日头条创立于2012年3月，到目前仅4年时间。从十几个工程师开始研发，到上百人，再到200余人。产品线由内涵段子，到今日头条，今日特卖，今日电影等产品线。 下面我为大家介绍今日头条的架构和发展历史。 产品背景 今日头条是为用户提供个性化资讯客户端。下面就和大家分享一下当前今日头条的数据（据内部与公开数据综合）： 5亿注册用户 其中：2014年5月1.5亿，2015年5月3亿，2016年5月份为5亿。几乎...

最近在做APP的接口测试，研究了一下Fiddler的使用，发现对于移动APP测试Fiddler是一个非常好用的工具。下面对Fiddler的使用做一个总结。  Fiddler官方下载地址：http://fiddler2.com/ 安装后打开界面效果图如下： 每一个标签的说明这里不细说了，只说下抓包需要进行的操作： 1、因为fiddler抓包的原理就是通过代理，所以被测终端需要和安装fiddler的电脑在同一个局域网中。 2、开启Fiddler的远程连...

在classpath下（一般为src目录）创建： logback.xml或logback-test.xml（后者优先级高） 内容为： <?xml version="1.0" encoding="UTF-8"?><configuration> <appendername="STDOUT"class="ch.qos.logback.core.ConsoleAppender"> <encoder> <pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</pattern> </encoder> </appende...

英文原文：darkreading，翻译：CSDN 众所周知，SQL注入攻击是最为常见的Web应用程序攻击技术。同时SQL注入攻击所带来的安全破坏也是不可弥补的。以下罗列的10款SQL注入工具可帮助管理员及时检测存在的漏洞。 BSQL Hacker BSQL Hacker是由Portcullis实验室开发的，BSQL Hacker 是一个SQL自动注入工具（支持SQL盲注），其设计的目的是希望能对任何的数据库进行SQL溢出注入。 BSQL Hacker的适用群体是那些对...

搜索引擎选型调研文档 Elasticsearch简介* Elasticsearch是一个实时的分布式搜索和分析引擎。它可以帮助你用前所未有的速度去处理大规模数据。 它可以用于全文搜索，结构化搜索以及分析，当然你也可以将这三者进行组合。 Elasticsearch是一个建立在全文搜索引擎 Apache Lucene™ 基础上的搜索引擎，可以说Lucene是当今最先进，最高效的全功能开源搜索引擎框架。 但是Lucene只是一个框架，要充分利用它的功能...

mysql-proxy是官方提供的mysql中间件产品可以实现负载平衡，读写分离，failover等，但其不支持大数据量的分库分表且性能较差。下面介绍几款能代替其的mysql开源中间件产品，Atlas，cobar，tddl，让我们看看它们各自有些什么优点和新特性吧。 Atlas Atlas是由 Qihoo 360, Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它是在mysql-proxy 0.8.2版本的基础上，对其进行了优化，增加了...