技术,产品,创业,互联网,投资理财,生活感悟

1、概述 本教程将演示如何用Java高效地读取大文件。这篇文章是Baeldung(http://www.baeldung.com/) 上“Java——回归基础”系列教程的一部分。 2、在内存中读取 读取文件行的标准方式是在内存中读取,Guava 和Apache Commons IO都提供了如下所示快速读取文件行的方法: 1 2 3 Files.readLines(new File(path), Charsets.UTF_8); FileUtils.readLines(new File(path)); 这种方法带来的问题是文件的所有行都被存放在内存中,当文件足够大时很快就会导致程序抛出OutOfMemoryError 异常。 例如:读取一个大约1G的文件: 1 2 3 4 5 @Test public void givenUsingGuava_whenIteratingAFile_thenWorks() throws IOException {     String path = …     Files.readLines(new File(path), Charsets.UTF_8); } 这种方式开始时只占用很少的内存:(大约消耗了0Mb内存) 1 2 [main] INFO  org.baeldung.java.CoreJavaIoUnitTest – Total Memory: 128 Mb [main] INFO  org.baeldung.java.CoreJavaIoUnitTest – Free Memory: 116 Mb 然而,当文件全部读到内存中后,我们最后可以看到(大约消耗了2GB内存): 1 2 [main] INFO  org.baeldung.java.CoreJavaIoUnitTest – Total Memory: 2666 Mb [main] INFO  org.baeldung.java.CoreJavaIoUnitTest – Free Memory: 490 Mb 这意味这一过程大约耗费了2.1GB的内存——原因很简单:现在文件的所有行都被存储在内存中。 把文件所有的内容都放在内存中很快会耗尽可用内存——不论实际可用内存有多大,这点是显而易见的。 此外,我们通常不需要把文件的所有行一次性地放入内存中——相反,我们只需要遍历文件的每一行,然后做相应的处理,处理完之后把它扔掉。所以,这正是我们将要做的——通过行迭代,而不是把所有行都放在内存中。 3、文件流 现在让我们看下这种解决方案——我们将使用java.util.Scanner类扫描文件的内容,一行一行连续地读取: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 FileInputStream inputStream = null; Scanner sc = null; try {     inputStream = new FileInputStream(path);     sc = new Scanner(inputStream, “UTF-8″); …

在使用springboot整合shiro的过程中,希望静态资源资源不受shiro过滤器‘authc’拦截,于是定义了“anon”,测试发现根本不生效,静态资源路径下的资源(如/js/**)依旧会被拦截并重定向到/login,以下是我的shiro javaconfig 请指正   解决了,filterChainDefinitionMap应当为LinkedHashMap 原文地址: http://www.caotama.com/103382.html

咱们每天打交道的这个互联网,其底层的基石是“IP”。IP 是“Internet Protocol”的缩写,中文就“互联网协议”(光看名字就知道这玩意儿很重要)。咱们日常用的那些互联网软件(浏览器、聊天工具、下载工具、等等)在工作时,必须依靠【IP地址】才能进行网络数据传输。
“IP地址”是设计给软件用滴——虽然软件很容易处理,但对于人类而言,却很难记忆。于是,后来又发明了 DNS。有了 DNS,人类就不需要记住长长的一串 IP地址,而只需记住“域名”(域名通常更短,也更具有可读性)。
比如你上网的时候,只需在地址栏输入网站的“域名”,而不用输入网站的“IP地址”。然后电脑系统会利用 DNS 来把“域名”翻译成“IP地址”。这个翻译的过程术语叫“域名解析/DNS解析”。

公司组织了一场产品模块的培训活动,主讲人是产品经理,细节讲的很好,但是后来有人提问了一些行业的较宏观的东西,讲的不是很好,其中有个相关技术负责人做了补充,讲的就非常不错。

本文列举了是十个免费工具,可以用来进行Web的负载/压力测试的。这样你就可以知道你的服务器以及你的WEB应用能够扛得住多少的并发量,以及网站性能。 0. Grinder –  Grinder是一个开源的JVM负载测试框架,它通过很多负载注射器来为分布式测试提供了便利。 支持用于执行测试脚本的Jython脚本引擎HTTP测试可通过HTTP代理进行管理。根据项目网站的说法,Grinder的 主要目标用户是“理解他们所测代码的人——Grinder不仅仅是带有一组相关响应时间的‘黑盒’测试。由于测试过程可以进行编码——而不是简单地脚本 化,所以程序员能测试应用中内部的各个层次,而不仅仅是通过用户界面测试响应时间。    1. Pylot -Pylot 是一款开源的测试web service性能和扩展性的工具,它运行HTTP 负载测试,这对容量计划,确定基准点,分析以及系统调优都很有用处。Pylot产生并发负载(HTTP Requests),检验服务器响应,以及产生带有metrics的报表。通过GUI或者shell/console来执行和监视test suites。   2. Web Capacity Analysis Tool (WCAT) – 这是一种轻量级负载生成实用工具,不仅能够重现对 Web 服务器(或负载平衡服务器场)的脚本 HTTP 请求,同时还可以收集性能统计数据供日后分析之用。WCAT 是多线程应用程序,并且支持从单个源控制多个负载测试客户端,因此您可以模拟数千个并发用户。该实用工具利用您的旧机器作为测试客户端,其中每个测试客户 端又可以产生多个虚拟客户端(最大数量取决于客户端机器的网络适配器和其他硬件)。您可以选择使用 HTTP 1.0 还是 HTTP 1.1 请求,以及是否使用 SSL。并且,如果测试方案需要,您还可以使用脚本执行的基本或 NTLM 身份验证来访问站点的受限部分。(如果您的站点使用 cookie、表单或基于会话的身份验证,那您可以创建正确的 GET 或 POST 请求来对测试用户进行身份验证。)WCAT 还可管理您站点可能设置的任何 cookie,所以配置文件和会话信息将永久保存。 3. fwptt – fwptt 也是一个用来进行WEB应用负载测试的工具。它可以记录一般的请求,也可以记录Ajax请求。它可以用来测试 asp.net, jsp, php 或是其它的Web应用。 4. JCrawler – JCrawler是一个开源(CPL) 的WEB应用压力测试工具。通过其名字,你就可以知道这是一个用Java写的像网页爬虫一样的工具。只要你给其几个URL,它就可以开始爬过去了,它用一 种特殊的方式来产生你WEB应用的负载。这个工具可以用来测试搜索引擎对你站点产生的负载。当然,其还有另一功能,你可以建立你的网站地图和再点击一下, 将自动提交Sitemap给前5名的搜索引擎! 5. Apache JMeter – Apache JMeter是一个专门为运行和服务器装载测试而设计的、100%的纯Java桌面运行程序。原先它是为Web/HTTP测试而设计的,但是它已经扩展以 支持各种各样的测试模块。它和用于HTTP和SQL数据库(使用JDBC)的模块一起运送。它可以用来测试静止资料库或者活动资料库中的服务器的运行情 况,可以用来模拟对服务器或者网络系统加以重负荷以测试它的抵抗力,或者用来分析不同负荷类型下的所有运行情况。它也提供了一个可替换的界面用来定制数据 显示,测试同步及测试的创建和执行。 6. Siege -Siege(英文意思是围攻)是一个压力测试和评测工具,设计用于WEB开发这评估应用在压力下的承受能力:可以根据配置对一个WEB站点进行多用户的并发访问,记录每 个用户所有请求过程的相应时间,并在一定数量的并发访问下重复进行。 Siege 支持基本的认证,cookies, HTTP 和 HTTPS 协议。 7. http_load – http_load 以并行复用的方式运行,用以测试web服务器的吞吐量与负载。但是它不同于大多数压力测试工具,它可以以一个单一的进程运行,一般不会把客户机搞死。可以可以测试HTTPS类的网站请求。 8. Web Polygraph – Web Polygraph这个软件也是一个用于测试WEB性能的工具,这个工具是很多公司的标准测试工具,包括微软在分析其软件性能的时候,也是使用这个工具做为基准工具的。很多招聘测试员的广告中都注明需要熟练掌握这个测试工具。 9. OpenSTA – OpenSTA是一个免费的、开放源代码的web性能测试工具,能录制功能非常强大的脚本过程,执行性能测试。例如虚拟多个不同的用户同时登陆被测试网 站。其还能对录制的测试脚本进行,按指定的语法进行编辑。在录制完测试脚本后,可以对测试脚本进行编辑,以便进行特定的性能指标分析。其较为丰富的图形化 测试结果大大提高了测试报告的可阅读性。OpenSTA 基于CORBA 的结构体系,它通过虚拟一个proxy,使用其专用的脚本控制语言,记录通过 proxy 的一切HTTP/S traffic。通过分析OpenSTA的性能指标收集器收集的各项性能指标,以及HTTP 数据,对系统的性能进行分析。 欢迎您留下你认为不错的WEB应用性能测试的工具。 英文原文:10 Free Tools to Load/Stress Test Your Web Applications   https://www.oschina.net/news/30374/10-free-tools-to-loadstress-test-your-web?from=rss  

关于接口测试,笔者认为其难点分别在如下几方面:接口参数的获取和输入、测试数据的准备、场景的串联、测试结果的断言。 接下来笔者将通过介绍 BlazeMeter+Jmeter 这两种工具来解决以上问题。 BlazeMeter 使用方法 未使用 BlazeMeter 之前,笔者获取接口的方法是在浏览器中通过 F12 获取到地址和参数,然后将此接口的数据放置 Jmeter 中进行请求的录制。这样的方式耗费了大量的时间。 有了BlazeMeter 之后,我们可以在浏览器中模拟用户的操作,BlazeMeter 会将所有的接口记录下来。 笔者也曾经试过使用 BadBoy 录制工具,此工具默认支持的是 IE浏览器,但是大多数系统,尤其是内部系统,对 IE 的支持都不够友好。所以笔者选择了支持 Chrome的 BlazeMeter 工具。 安装方式: 1)输入地址 2)操作如下 搜索栏输入 blazemeter 点击 ADD TO CHROME,显示红色的“B”表示安装成功 BlazeMeter 的使用方式很简单:登陆、点击 start、停止录制、导出.jmx,录制完以后将 jmx 文件导入 Jmeter 中。 以下是笔者曾经在某项目中进行了的实验及实验结果: Jmeter 1)测试数据的准备 解决方案:前置条件中添加初始化 sql 语句 比如此 case。在进行 Level 2审批之前,A 需要 Level 1审批通过,然后 A 的状态会变更为待 Level 2审批,等待 Levle 2审批通过以后其状态会变更为待 Level 3审批。所以笔者在此的解决方案为:在数据库中直接把此渠道的状态更新为待 Level 2审批,直接测试待 Level 2审批的接口。 使用方式: 下载 mysql-connector-java-5.1.39-bin.jar 包 右键测试计划 Add->Config Element->JDBC Connection Configuration,在database url 中输入数据库的 ip 和端口 Username 和 password ,输入数据库用户名和密码 2)场景的串联 在 A 接口输出是 B 接口输入的情况下,我们需要将 A 接口和 B 接口联合进行测试。 在这个 case 中,需要创建A,但是在创建 A 之前需要创建 B。 解决方案:先创建 B。由于 B 的参数是不能重复的,所以笔者通过 Jmeter 自带的函数 UUID 取得一个随机数。 接口的返回参数如下,我们需要取得接口,”result”:{“categoryCode”:”ABC”} 我们需要取得此接口的 result 中 categoryCode 作为创建 B 的入参 解决方案:右键 http 请求 Add->Post Processors->JSON …