分类 : 33个相关结果 0次浏览

自 Git@OSC 上线以来受到广大开源作者的喜爱。值此新年之际,开源中国整理出 Git@OSC 最热门开源项目 Top50,对 Git@OSC 的发展至今所取得的成绩进行总结。此榜单主要通过开源项目的 Watch、Star、Fork 数量来评定,项目类型不尽相同,难免有纰漏,如有遗漏或者不妥之处,希望大家批评指正。若您对 Git@OSC 未来的发展有何意见或者建议,也欢迎在评论区留言告诉我们。 下面是项目列表: 1、JFinal 项 目简介:JFinal 是基于 Java 语言的极速 WEB + ORM 框架,其核心设计目标是开发迅速、代码量少、学习简单、功能强大、轻量级、易扩展、Restful。在拥有Java语言所有优势的同时再拥有ruby、 python、php等动态语言的开发效率!为您节约更多时间,去陪恋人、家人和朋友 2、jeewx 项目简介:免费开源JAVA微信管家平台,实现了微信平台的基础功能,便于用户二次开发。JEEWX支持微信第三方平台全网发布、支持微信插件开发机制,可轻松集成微信H5插件。 3、tiny 项目简介:值得拥有的企业级j2ee应用开发框架套件,专业团队开发,完整的生态体系,活跃的社区氛围,无限的水平扩展能力,7*24不间断运维能力。 4、CMS 一款使用Java语言开发的CMS,使用了Spring MVC,Spring,MyBatis等流行框架,提供首页大图管理、目录管理、文章管理和管理员管理等功能。是学习和二次开发的首选。 5、jeecg 项 目推荐:JEECG是一款J2EE企业级快速智能开发平台,开源界“小普元”超越传统商业企业级开发平台。基于代码生成器,引领新的开发模式 (Online Coding模式(自定义表单)->代码生成器模式->手工MERGE智能开发), 可以帮助解决Java项目60%的重复工作,让开发更多关注业务逻辑。既能快速提高开发效率,帮助公司节省人力成本,同时又不失灵活性。 6、Mybatis_PageHelper 项目简介:Mybatis_PageHelper 是 Mybatis 分页插件,支持任何复杂的单表、多表分页。 7、JeeSite 项目简介:JeeSite 是一个企业信息化开发基础平台,Java EE(J2EE)快速开发框架,使用经典技术组合(Spring、Spring MVC、Apache Shiro、MyBatis、Bootstrap UI),包括核心模块如:组织机构、角色用户、权限授权、数据权限、内容管理、工作流等。 8、LigerUI 项目简介:基于jQuery的UI框架,包括表单、布局、表格等等常用UI控件,使用LigerUI可以快速轻松地创建风格统一的界面效果。 9、CrossApp 项目简介:一款完全开源、免费、跨平台的移动应用开发引擎,开发者可以完全免费、毫无顾虑的使用CrossApp开发任何项目。本引擎基于C++语言编写,OpenGl ES2.0图形渲染。拥有丰富的UI控件、丰富的第三方库、集成各种系统接口。 10、thinkphp 项目简介:ThinkPHP 是一个免费开源的,快速、简单的面向对象的 轻量级PHP开发框架 ,创立于2006年初,遵循Apache2开源协议发布,是为了敏捷WEB应用开发和简化企业应用开发而诞生的。ThinkPHP从诞生以来一直秉承简洁 实用的设计原则,在保持出色的性能和至简的代码的同时,也注重易用性。 11、KJFrameForAndroid 项目简介:KJFrameForAndroid的设计思想是通过封装Android原生SDK中复杂的复杂操作而达到简化Android应用级开发,最终实现快速而又安全高效的开发APP。我们的目标是用最少的代码,完成最多的操作,用最高的效率,完成最复杂的功能。 12、zbus 项目简介:ZBUS=MQ+RPC+PROXY 服务总线  1)支持消息队列, 发布订阅, RPC, 代理(TCP/DMZ)   2)亿级消息堆积能力、支持HA高可用  3)无依赖单个Jar包 ~300K   4)丰富的API–JAVA/C/C++/C#/Python/Node.JS多语言接入,支持HTTP/Thrift等协议接入 13、ECP 项目简介:ECP  是基于jfinal、avalon、bootstrap、jqGrid、snaker工作流开发的客户关系及进销存财务系统。支持多企业使用。 14、jfinal-weixin 项目简介:JFinal Weixin 是基于 JFinal 的微信公众号极速开发 SDK,只需浏览 Demo 代码即可进行极速开发,自 JFinal Weixin 1.2 版本开始已添加对多公众号支持。 15、cim 项目简介:基于apache  mina 的 java即时通讯服务端。与android 客户端完美结合,同时支持其他语言(ios,c,ActionScript,.net等)客户端的即时通信。 16、webmagic 项目简介:webmagic的是一个无须配置、便于二次开发的爬虫框架,它提供简单灵活的API,只需少量代码即可实现一个爬虫。 17、Mapper 项目简介:极其方便的使用Mybatis单表的增删改查。通用Mapper都可以极大的方便开发人员。可以随意的按照自己的需要选择通用方法,还可以很方便的开发自己的通用方法。 18、smart-framework 项目简介:轻量级 Java Web 开发框架,内置 IOC、AOP、ORM、DAO、MVC 等特性,基于 Servlet 3.0 规范,使用 Java 注解取代 XML 配置。 19、git-quick-start 项目简介:这是一个git的快速入门项目,使用一些gif图片来播放一些基础的git命令使用方法。 20、EasyPR 项目简介:EasyPR是一个中文的开源车牌识别系统,其目标是成为一个简单、高效、准确的车牌识别引擎。 相比于其他的车牌识别系统,EasyPR有如下特点: …

ava HeartBeat 网站 : http://git.oschina.net/mkk/HeartBeat HeartBeat 心跳检测应用服务器(如Tomcat,Jetty)的JAVA WEB应用程序. 如何实现? 使用HttpClient对指定的服务器(application-instance) URL 按频率(10秒,20秒…) 发起请求并记录响应的信息(连接耗时,是否连接成功,是否有异常), 若检测到不正常(响应码不是200,抛出异常…)时则发送邮件给指定的地址,当检测恢复正常时也发送提醒邮件. 将来会添加更多的实时提醒方式接口,如微信,短信 框架及版本 Spring Framework – 3.2.2.RELEASE Quartz – 2.2.1 Hibernate – 4.1.7.Final Flat UI Maven – 3.1.0 运行环境 JRE 1.7 + MySql 5.5 + Tomcat 7 + 如何使用? 项目是Maven管理的, 需要在电脑上安装maven(开发用的版本号为3.1.0), MySql(开发用的版本号为5.5) 下载(或clone)项目到本地 创建MySQL数据库(默认数据库名:heart_beat), 并运行相应的SQL脚本(脚本文件位于others/database目录), 运行脚本的顺序: HeartBeat.ddl -> quartz_mysql_innodb.sql 修改HeartBeat.properties(位于src/main/resources目录)中的数据库连接信息(包括username, password等) 将本地项目导入到IDE(如Intellij IDEA)中,配置Tomcat(或类似的servlet运行服务器), 并启动Tomcat(默认端口为8080) 另: 也可通过maven package命令将项目编译为war文件(HeartBeat.war), 将war放在Tomcat中并启动(注意: 这种方式需要将HeartBeat.properties加入到classpath中并正确配置数据库连接信息). 授权协议: Apache 开发语言: Java

1.爬虫的介绍 图1-1  爬虫(spider) 网络爬虫(web spider)是一个自动的通过网络抓取互联网上的网页的程序,在当今互联网中得到越来越广泛的使用。这种技术一般用来爬取网页中链接,资源等,当然,更为高级的技术是把网页中的相关数据保存下来,成为搜索引擎,例如著名的google和百度。常见的爬虫应用还有像一淘这样的比价网站,电影推荐网站等。       为了让大家进一步感受到爬虫的魅力,笔者编写了一个爬取淘宝和京东数据的比价网站(http://jiafei.org:8888/),如图1-2所示。由于淘宝和京东的搜索结果页面中有部分内容引(如价格)是通过ajax动态获得的,再用javascript把内容写入到相应的标签中的,当搜索Iphone 5s时,后台爬虫利用webkit生成去最终的dom树,爬取有用的数据,经过简单的处理后返回相应的结果。   图1-2  一个简单的比较网站 2.为何需要爬虫       爬虫对于扫描器来说至关重要,站在整个扫描器的最前线(如图2-1所示)。在一个专业扫描器中,一般首先会由爬虫爬取指定的页面,接着把爬到的url传递给调度server,最后由调度server分发需要扫描的url给扫描agent来完成整个扫描过程。   图2-1  扫描器的组成   2.爬虫的架构与分析 Web安全对于互联网公司来说至关重要,为了让公司的扫描器与业界的扫描器看齐,server安全组自研了一款功能强大的爬虫——SuperSpider,主要用来为漏洞扫描提供丰富的urls。SuperSpider的架构如图3-1所示,首先由下载器模块下载指定的页面,分析页面模块分析完成后一方面把需要的数据传递给存储模块,另一方面将爬取的urls传递给去重模块,去重后放到url队列中,最后由调度器安排次序传递url给下载器下载新的页面。接下来详细讲讲分析页面,调度器和去重这3个模块。   图3-1  爬虫的架构   3.1分析页面 简单的来说, 爬虫主要作用就是用来分析页面。 难点:因为现在是web2.0时代,绝大部分网页都会使用javascript处理页面,而且很多网页内容都是通过Ajax技术加载的。因此,只是简单地解析HTML文件会远远不够。 解决:如何做到这点?编写一个基于webkit的爬虫SuperSpider。下面将详细说明SuperSpider所具有的5个功能强大的爬取能力。 a.  静态页面链接分析 简单点来说,就是分析html文档,例如下图的一个<a>标签的超链接,SuperSpider会识别出href中的值为一个超链接,提取其值html_link.php?id=1。 b.  javascript动态解析 下图为一段javascript代码,该代码的目的是在id为hi的a标签中提交属性href。 SuperSpider利用webkit内核执行以上javascript代码生成出以下html代码,再通过静态页面链接分析获取js_link.php?id=1&msg=abc这个url。 c.  自动分析表单 SuperSpider会自动识别出action中的值为所提交的地址,提取input标签中的name和value作为参数,最终生成出 post_link.php?id=1&msg=abc 这个url。   d.  自动交互       自动交换就是说要模仿出人的行为,例如点击鼠标,按下回车键等,下图就是一个需要点击鼠标的例子。 SuperSpider会自动识别出onclick是一个交换行为,从而执行里面的js代码生成出以下html,从而爬到了 click_link.php?id=1 这个url。   e.  hook所有的网络请求       这是一个ajax请求,有别于以上4种基于dom树解析的分析技术,要捉到其请求的url只能通过hook请求,而webkit文档中并没有提到hook 网络请求的方法。于是通过修改webkit代码hook住每一个由webkit发送出去的请求,从而拿到了 ajax_link.php?id=1&t=1这个url。   3.2调度器 SuperSpider的调度器使用广度优先搜索策略,具体的逻辑如下图所示。首先,从入口页面1.html中爬到了2.html, 3.html和4.html,依次把它们放到url队列中。接着取出2.html,把爬到的5.html和6.html放到url队列中,随后便开始爬取3.html,依广度次序进行。 图3-2-1  爬虫调度的广度优先搜索策略 3.3去重       为了扫描的质量和效率,需要进行去重。例如大部分网站中日期作为其url的组成部分,尤其是门户网站。SuperSpider使用将数字替换成d+的算法对url进行去重。例如, 1.http://video.sina.com.cn/ent/s/h/2010-01-10/163961994.shtml?a=1&b=10 2.http://video.sina.com.cn/ent/s/h/2009-12-10/16334456.shtml?a=12&b=67 对数字进行模式处理为: http://video.sina.com.cn/ent/s/h/d+-d+-d+/d+.shtml?a=d+&b=d+ 如果链接1已经爬取过,链接2与链接1类似, 不重复爬取。 试验证明这种方法简捷高效,漏爬率极低,大大提升扫描器的效率。 4.爬虫的具体实现 a.webkit的易用性 常用的chrome, safari等浏览器都是基于webkit内核,不过提起这个内核,大家可能会觉得有点庞大艰深。但如果只是对于应用层面来说,webkit使用起来还是挺简易的。如图4-1所示,只需14行便可以写出一个浏览器。 图4-1  使用webkit编写的浏览器 b.难点解决 问题:Webkit需要视窗系统才能正常启动,而服务器一般都没有视窗系统的,那么如何在后台稳定地运行webkit?之前是去掉webkit中的图形渲染,css等与gui有关的代码,太麻烦,易出众多bug。 解决:使用xvfb虚拟出一个视窗系统,只需把alert, confirm, prompt的代码注释掉(因为会让浏览器卡住),简单快捷稳定。 c.爬虫的逻辑代码 图4-2为爬虫的逻辑代码,在parse函数里利用webkit生成出来的dom树来做具体的第三部分所提到的分析逻辑。 图4-2  爬虫的逻辑代码 5.效果       SuperSpider与wvs的爬虫对比,在著名的爬虫测试平台http://demo.aisec.cn/demo/进行测试,该平台要求爬虫要完全具备3.1所提到的5个功能才能爬取到所有的url,上图为扫描器的爬虫,下图为wvs的爬虫, 其中click_link.php (在3.1.d提到)是需要爬虫具有自动交换能力才能爬取到的。 结论:SuperSpider全部都能爬到, 在自动交互方面比wvs表现更好 图4-1  SuperSpider与wvs的结果对比 6.结尾 以上笔者的一些思考与总结,欢迎大牛们的意见和建议!

http://templatepicks.com/best-travel-website-html-templates/ It’s a wonderful thing now that you’ve got your travel website and the only thing missing is the perfect theme to go with it. It’s a fact that you need a theme that can support whatever you might think about – your personal ideas, thoughts, impressions, photographs and a lot more, making the content not only engaging, but also interesting. This is just one of the reasons why you should use any of the next theme – they are easy to install, are extremely good looking with catchy colors and easy details that will make the difference and engage your visitors. Special Possibilities for Special Themes Here you’ll find different themes that can be adapted to your own needs. Some are sporting the HTML …

不知道你是否找到自己满意的界面模板了呢? 如果还没有请继续往下看,可能有些会有重叠,Whatever! Bracket Responsive Bootstrap 3 Admin Template Apricot Bootstrap 3 Admin Dashboard Template Cameo – Bootstrap 3 Responsive Admin Template DefOne – Responsive Bootstrap 3 Admin Template AdminEx – Bootstrap 3 Responsive Admin Template Delighted Flat Ajax Bootstrap 3 Dashboard Hierapolis Admin Template EdenAdmin Bootstrap Admin Theme Meritoo HTML5 Admin Template Metis SB Admin v.2 TemplateVamp Clean Dashboard Bootstrap Template Charisma Responsive Admin Template Metro Dashboard AdminLTE Blocks  DevOOPS via dizyne

pache MINA(Multipurpose Infrastructure for Network Applications) 是 Apache 组织一个较新的项目,它为开发高性能和高可用性的网络应用程序提供了非常便利的框架。当前发行的 MINA 版本支持基于 Java NIO 技术的 TCP/UDP 应用程序开发、串口通讯程序(只在最新的预览版中提供),MINA 所支持的功能也在进一步的扩展中。 在线Javadoc:http://tool.oschina.net/apidocs/apidoc?api=mina

jsDelivr 是一个免费开源的 CDN 解决方案,用于帮助开发者和站长。包含 JavaScript 库、jQuery 插件、CSS 框架、字体等等 Web 上常用的静态资源。

Tyk 是一个开源的、轻量级的、快速可伸缩的 API 网关,支持配额和速度限制,支持认证和数据分析,支持多用户多组织,提供全 RESTful API。 http://tyk.io/