Java根据URL下载图片至客户端、服务器示例整合上传又拍云对象存储 Java根据URL下载图片至客户端、服务器示例整合又拍云上传

SpringBoot设置文件上传大小限制异常解决方案 SpringBoot默认上传文件大小超限，会报以下异常：org.apache.tomcat.util.http.fileupload.FileUploadBase$FileSizeLimitExceededException: The field file exceeds its maximum permitted size of 1048576 bytes.报错的原因是：springBoot项目自带的tomcat对上传的文件大小有默认的限制，SpringBoot官方文档中展示：每个文件的配置最大为1Mb，单次请求的文件的总数不能大于10Mb。解决方法:请在配置文件(application.properties/application.yml)中加入如下设置即可低版本: 1.Xspring.http.multipart.max-file-size=10MB spring.http.multipart.max-request-size=10MB高版本: 2.Xspring.servlet.multipart.max-file-size=30Mb spring.servlet.multipart.max-request-size=30Mb或者spring.servlet.multipart.maxFileSize=10MB spring.servlet.multipart.maxRequestSize=20MB

SpringBoot AOP日志切面 AOP切面AOP(Aspect-Oriented Programming，面向切面编程)，它利用一种”横切”的技术，将那些多个类的共同行为封装到一个可重用的模块。便于减少系统的重复代码，降低模块之间的耦合度，并有利于未来的可操作性和可维护性。AOP相关概念Aspect（切面）：声明类似于Java中的类声明，在Aspect中会包含一些Pointcut及相应的Advice。Joint point（连接点）：表示在程序中明确定义的点。包括方法的调用、对类成员的访问等。Pointcut（切入点）：表示一个组Joint point，如方法名、参数类型、返回类型等等。Advice（通知）：Advice定义了在Pointcut里面定义的程序点具体要做的操作，它通过(before、around、after(return、throw)、finally来区别实在每个Joint point之前、之后还是执行 前后要调用的代码。Before：在执行方法前调用Advice，比如请求接口之前的登录验证。Around：在执行方法前后调用Advice，这是最常用的方法。After：在执行方法后调用Advice，after、return是方法正常返回后调用，after\throw是方法抛出异常后调用。Finally：方法调用后执行Advice，无论是否抛出异常还是正常返回。AOP proxy：AOP proxy也是Java对象，是由AOP框架创建，用来完成上述动作，AOP对象通常可以通过JDK dynamic proxy完成，或者使用CGLIb完成。Weaving：实现上述切面编程的代码织入，可以在编译时刻，也可以在运行时刻，Spring和其它大多数Java框架都是在运行时刻生成代理。代码示例POM引入<!-- SpringBoot Aop组件--> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-aop</artifactId> </dependency> <!-- 分析客户端信息的工具类--> <dependency> <groupId>eu.bitwalker</groupId> <artifactId>UserAgentUtils</artifactId> <version>1.21</version> </dependency>切面：LogAspect代码/** * 添加aop日志打印 * * @author yanqs * @date 2020/1/13 14:42 */ @Aspect @Component @Slf4j public class LogAspect { /** * 进入方法时间戳 */ private Long startTime; /** * 方法结束时间戳(计时) */ private Long endTime; public LogAspect() { } /** * 定义请求日志切入点，其切入点表达式有多种匹配方式,这里是指定路径 */ @Pointcut("execution(public * com.springboot.logaop.controller.*.*(..))") public void logPointcut() { } /** * 前置通知： * 1. 在执行目标方法之前执行，比如请求接口之前的登录验证; * 2. 在前置通知中设置请求日志信息，如开始时间，请求参数，注解内容等 * * @param joinPoint * @throws Throwable */ @Before("logPointcut()") public void doBefore(JoinPoint joinPoint) { // 接收到请求，记录请求内容 ServletRequestAttributes attributes = (ServletRequestAttributes) RequestContextHolder.getRequestAttributes(); HttpServletRequest request = attributes.getRequest(); //获取请求头中的User-Agent UserAgent userAgent = UserAgent.parseUserAgentString(request.getHeader("User-Agent")); //打印请求的内容 startTime = System.currentTimeMillis(); log.info("请求开始时间：{}", LocalDateTime.now()); log.info("请求Url : {}", request.getRequestURL().toString()); log.info("请求方式 : {}", request.getMethod()); log.info("请求ip : {}", request.getRemoteAddr()); log.info("请求方法 : ", joinPoint.getSignature().getDeclaringTypeName() + "." + joinPoint.getSignature().getName()); log.info("请求参数 : {}", Arrays.toString(joinPoint.getArgs())); // 系统信息 log.info("浏览器：{}", userAgent.getBrowser().toString()); log.info("浏览器版本：{}", userAgent.getBrowserVersion()); log.info("操作系统: {}", userAgent.getOperatingSystem().toString()); } /** * 返回通知： * 1. 在目标方法正常结束之后执行 * 1. 在返回通知中补充请求日志信息，如返回时间，方法耗时，返回值，并且保存日志信息 * * @param ret * @throws Throwable */ @AfterReturning(returning = "ret", pointcut = "logPointcut()") public void doAfterReturning(Object ret) throws Throwable { endTime = System.currentTimeMillis(); log.info("请求结束时间：{}", LocalDateTime.now()); log.info("请求耗时：{}", (endTime - startTime)); // 处理完请求，返回内容 log.info("请求返回 : {}", ret); } /** * 异常通知： * 1. 在目标方法非正常结束，发生异常或者抛出异常时执行 * 1. 在异常通知中设置异常信息，并将其保存 * * @param throwable */ @AfterThrowing(value = "logPointcut()", throwing = "throwable") public void doAfterThrowing(Throwable throwable) { // 保存异常日志记录 log.error("发生异常时间：{}", LocalDateTime.now()); log.error("抛出异常：{}", throwable.getMessage()); } }@Before和@AfterReturning部分也可使用以下代码替代/** * 在执行方法前后调用Advice，这是最常用的方法，相当于@Before和@AfterReturning全部做的事儿 * * @param pjp * @return * @throws Throwable */ @Around("logPointcut()") public Object doAround(ProceedingJoinPoint pjp) throws Throwable { // 接收到请求，记录请求内容 ServletRequestAttributes attributes = (ServletRequestAttributes) RequestContextHolder.getRequestAttributes(); HttpServletRequest request = attributes.getRequest(); //获取请求头中的User-Agent UserAgent userAgent = UserAgent.parseUserAgentString(request.getHeader("User-Agent")); //打印请求的内容 startTime = System.currentTimeMillis(); log.info("请求Url : {}", request.getRequestURL().toString()); log.info("请求方式 : {}", request.getMethod()); log.info("请求ip : {}", request.getRemoteAddr()); log.info("请求方法 : ", pjp.getSignature().getDeclaringTypeName(), ".", pjp.getSignature().getName()); log.info("请求参数 : {}", Arrays.toString(pjp.getArgs())); // 系统信息 log.info("浏览器：{}", userAgent.getBrowser().toString()); log.info("浏览器版本：{}", userAgent.getBrowserVersion()); log.info("操作系统: {}", userAgent.getOperatingSystem().toString()); // pjp.proceed()：当我们执行完切面代码之后，还有继续处理业务相关的代码。proceed()方法会继续执行业务代码，并且其返回值，就是业务处理完成之后的返回值。 Object ret = pjp.proceed(); log.info("请求结束时间：" + LocalDateTime.now()); log.info("请求耗时：{}", (System.currentTimeMillis() - startTime)); // 处理完请求，返回内容 log.info("请求返回 : ", ret); return ret; }测试结果2021-12-13 15:58:16.219 INFO 21528 --- [nio-8080-exec-1] c.s.logaop.config.aspect.LogAspect : 请求开始时间：2021-12-13T15:58:16.219 2021-12-13 15:58:16.220 INFO 21528 --- [nio-8080-exec-1] c.s.logaop.config.aspect.LogAspect : 请求Url : http://localhost:8080/test/getGetId 2021-12-13 15:58:16.220 INFO 21528 --- [nio-8080-exec-1] c.s.logaop.config.aspect.LogAspect : 请求方式 : GET 2021-12-13 15:58:16.220 INFO 21528 --- [nio-8080-exec-1] c.s.logaop.config.aspect.LogAspect : 请求ip : 0:0:0:0:0:0:0:1 2021-12-13 15:58:16.221 INFO 21528 --- [nio-8080-exec-1] c.s.logaop.config.aspect.LogAspect : 请求方法 : 2021-12-13 15:58:16.221 INFO 21528 --- [nio-8080-exec-1] c.s.logaop.config.aspect.LogAspect : 请求参数 : [zhangsan] 2021-12-13 15:58:16.221 INFO 21528 --- [nio-8080-exec-1] c.s.logaop.config.aspect.LogAspect : 浏览器：CHROME9 2021-12-13 15:58:16.221 INFO 21528 --- [nio-8080-exec-1] c.s.logaop.config.aspect.LogAspect : 浏览器版本：96.0.4664.55 2021-12-13 15:58:16.221 INFO 21528 --- [nio-8080-exec-1] c.s.logaop.config.aspect.LogAspect : 操作系统: WINDOWS_10 2021-12-13 15:58:16.229 INFO 21528 --- [nio-8080-exec-1] c.s.logaop.config.aspect.LogAspect : 请求结束时间：2021-12-13T15:58:16.229 2021-12-13 15:58:16.229 INFO 21528 --- [nio-8080-exec-1] c.s.logaop.config.aspect.LogAspect : 请求耗时：14 2021-12-13 15:58:16.229 INFO 21528 --- [nio-8080-exec-1] c.s.logaop.config.aspect.LogAspect : 请求返回 : zhangsanDemoSpringBoot-AOP参考：springboot配置aop切面日志打印 - 森林木马 - 博客园 springboot + AOP 日志_请叫我猿叔叔的博客-CSDN博客_aop日志

苹果M1安装JDK环境 自从前段时间给小可爱买了苹果 MacBookPro 后，我一直都没怎么体验过，刚好最近她暂时不用，我最近也挺闲，就用了几天，感觉“解放生产力的第一步就是生产工具”。正所谓“工欲善其事必先利其器”，所以总结一下使用过程和一些常用的工具使用。JDK安装由于Oracle公司没有适配苹果M1芯片的JDK，在网上找了一个zulu家的JDK，适合ARM架构的，也支持苹果M1芯片。拖动安装然后出现安装流程，下一步就可以安装完成。环境校验下载地址{cloud title="官网下载" type="default" url="https://www.azul.com/downloads/?version=java-8-lts&os=macos&architecture=arm-64-bit&package=jdk" password=""/}{cloud title="本站下载" type="default" url="https://pan.bcrjl.com/directlink/1/dev/jdk/zulu8.58.0.13-ca-jdk8.0.312-macosx_aarch64.dmg" password=""/}

Spring Boot 核心知识点总结 Spring Boot 核心功能独立运行Spring项目Spring boot 可以以jar包形式独立运行，运行一个Spring Boot项目只需要通过java -jar xx.jar来运行。内嵌servlet容器Spring Boot可以选择内嵌Tomcat、jetty或者Undertow,这样我们无须以war包形式部署项目。提供starter简化Maven配置spring提供了一系列的start pom来简化Maven的依赖加载，例如，当你使用了spring-boot-starter-web，会自动加入依赖包。自动装配SpringSpringBoot会根据在类路径中的jar包，类、为jar包里面的类自动配置Bean，这样会极大地减少我们要使用的配置。当然，SpringBoot只考虑大多数的开发场景，并不是所有的场景，若在实际开发中我们需要配置Bean，而SpringBoot灭有提供支持，则可以自定义自动配置。准生产的应用监控SpringBoot提供基于http ssh telnet对运行时的项目进行监控。无代码生产和xml配置SpringBoot不是借助与代码生成来实现的，而是通过条件注解来实现的，这是Spring4.x提供的新特性。Spring Boot 优缺点优点：快速构建项目。对主流开发框架的无配置集成。项目可独立运行，无须外部依赖Servlet容器。-提供运行时的应用监控。极大的提高了开发、部署效率。与云计算的天然集成。{dotted startColor="#ff6c6c" endColor="#1989fa"/}缺点：如果你不认同spring框架，也许这就是缺点。Spring Boot特性创建独立的Spring项目内置Tomcat和Jetty容器提供一个starter POMs来简化Maven配置提供了一系列大型项目中常见的非功能性特性，如安全、指标，健康检测、外部配置等完全没有代码生成和xml配置文件Spring Boot CLISpringBoot CLI 是SpringBoot提供的控制台命令工具。Spring Boot maven 构建项目spring-boot-starter-parent：是一个特殊Start，它用来提供相关的Maven依赖项，使用它之后，常用的包依赖可以省去version标签。Spring Boot几个常用的注解（1）@RestController和@Controller指定一个类，作为控制器的注解 ，并说明其区别（2）@RequestMapping方法级别的映射注解，这一个用过Spring MVC的小伙伴相信都很熟悉 （3）@EnableAutoConfiguration和@SpringBootApplication是类级别的注解，根据maven依赖的jar来自动猜测完成正确的spring的对应配置，只要引入了spring-boot-starter-web的依赖，默认会自动配置Spring MVC和tomcat容器（4）@Configuration类级别的注解，一般这个注解，我们用来标识main方法所在的类,完成元数据bean的初始化。（5）@ComponentScan类级别的注解，自动扫描加载所有的Spring组件包括Bean注入，一般用在main方法所在的类上 （6）@ImportResource类级别注解，当我们必须使用一个xml的配置时，使用@ImportResource和@Configuration来标识这个文件资源的类。 （7）@Autowired注解，一般结合@ComponentScan注解，来自动注入一个Service或Dao级别的Bean（8）@Component类级别注解，用来标识一个组件，比如我自定了一个filter，则需要此注解标识之后，Spring Boot才会正确识别。spring boot是如何管理事务的？直接写@transactional注解就行，在方法就是方法事务，类上就是类事务。

Java获取MultipartFile文件的MD5 Java 获取文件的 MD5 ，核心都是通过 Java 自带的 MessageDigest 类来实现。获取文件 MD5 值主要分为三个步骤，第一步获取文件的 byte 信息，第二步通过 MessageDigest 类进行 MD5 加密，第三步转换成16进制的 MD5 码值。方法一/** * 获取上传文件的md5 * @param file * @return * @throws IOException */ public String getMd5(MultipartFile file) { try { //获取文件的byte信息 byte[] uploadBytes = file.getBytes(); // 拿到一个MD5转换器 MessageDigest md5 = MessageDigest.getInstance("MD5"); byte[] digest = md5.digest(uploadBytes); //转换为16进制 return new BigInteger(1, digest).toString(16); } catch (Exception e) { log.error(e.getMessage()); } return null; }方法二使用 Java 自带的 commons-codec 包，获取16进制 MD5 值的方法。DigestUtils.md5Hex()：提供三种类型( byte[] 、InputStream 、String )生成MD5/** * 获取上传文件的md5 * @param file * @return * @throws IOException */ public String getMd5(MultipartFile file) { try { byte[] uploadBytes = file.getBytes(); //file->byte[],生成md5 String md5Hex = DigestUtils.md5Hex(uploadBytes); //file->InputStream,生成md5 String md5Hex1 = DigestUtils.md5Hex(file.getInputStream()); //对字符串生成md5 String s = DigestUtils.md5Hex("字符串"); return md5Hex ; } catch (Exception e) { log.error(e.getMessage()); } return null; }

rsyslogd内存占用过高解决方案 今天产品经理告诉我项目打不开了，让我解决一下问题。经过短暂的排除，发现 docker 运行四个月，容器日志把 50G 磁盘占用完了，导致项目网站部分服务不可用。重启 docker ,重新部署后，偶然发现服务器的内存使用率也达到 85% ，我记得之前 docker 优化后才占用 30% ，所以这个问题也需要排除一下。查看服务器状态使用top命令查看服务器各个程序占用CPU、内存情况。查看消耗内存最多的前40个进程ps auxw|head -1;ps auxw|sort -rn -k4|head -40通过结果看到rsyslogd日志管理服务占用了10%左右的内存。修改rsyslogd服务配置文件vim /usr/lib/systemd/system/rsyslog.service在Service配置中添加 MemoryAccounting=yes、MemoryMax=80M、MemoryHigh=8M 三项如下所示。[Unit] Description=System Logging Service ;Requires=syslog.socket Wants=network.target network-online.target After=network.target network-online.target Documentation=man:rsyslogd(8) Documentation=http://www.rsyslog.com/doc/ [Service] Type=notify EnvironmentFile=-/etc/sysconfig/rsyslog ExecStart=/usr/sbin/rsyslogd -n $SYSLOGD_OPTIONS Restart=on-failure UMask=0066 StandardOutput=null Restart=on-failure MemoryAccounting=yes MemoryMax=80M MemoryHigh=8M [Install] WantedBy=multi-user.target ;Alias=syslog.service通常情况下rsyslogd大小只有5M，所以将内存上限设置为8M，然后将绝对内存限制为80M。重启服务后systemctl daemon-reload systemctl restart rsyslog至此问题算是解决，还是需要后期继续跟进排查。

十年之约RSS聚合订阅服务上线 基于SpringBoot搭建的十年之约RSS聚合订阅服务正式上线，更多功能不定时更新。

JAVA使用ROME生成RSS订阅 JAVA使用ROME生成RSS订阅，ROME是一组Atom/RSS具类，它用Java来操作大部份RSS。ROME可能是目前最完善的开源聚合工具， ROME 支持绝大多数的RSS协议。

Java线程等待 最近十年之约的RSS订阅升级了，原本订阅地址失效了，不想错失大佬们发表的精彩博文，故向创始人申请了一个API权限。 谁知道大量请求造成错误: 429 Too Many Requests , 后来发现是我请求过于频繁了。我就想到可以将线程等待几秒再执行，每天大概就请求接口这一次，不在乎数据是否实时。所以找到以下方法并做个记录。方法一：通过线程的sleep方法在需要程序等待的地方加入这个语句，实现让程序等待，这里的参数1000是以毫秒为单位，即这语句可以让程序等待1秒。Thread.currentThread().sleep(1000); 方法二：TimeUnit类里的sleep方法TimeUnit类提供的方法，其实底层调用的也是Thread类的sleep方法，让程序进行等待。只不过他在上层根据时间单位进行了封装，如下列代码，共有7种可以选择，可以方便的选择自己需要的时间单位进行使用。TimeUnit.DAYS.sleep(1);//天 TimeUnit.HOURS.sleep(1);//小时 TimeUnit.MINUTES.sleep(1);//分 TimeUnit.SECONDS.sleep(1);//秒 TimeUnit.MILLISECONDS.sleep(1000);//秒 TimeUnit.MICROSECONDS.sleep(1000);//微妙 TimeUnit.NANOSECONDS.sleep(1000);//纳秒