总结一下最近没来得及总结的内容与今日学习内容,由于Java Web开发目前没学完,于是边学边补不会的内容:
项目开发
1.软件开发与角色
软件开发
软件开发流程:
需求分析:完成需求规格说明书、产品原型编写。
设计:UI设计、数据库设计、接口设计
编码:编写项目代码、并完成单元测试。
测试:测试人员,对部署在测试环境的项目进行功能测试, 并出具测试报告。
上线运维:会由运维人员准备服务器上的软件环境安装、配置, 配置完毕后, 再将我们开发好的项目,部署在服务器上运行。
角色分工
招聘/升职岗位:
| 岗位/角色 | 对应阶段 | 职责/分工 |
|---|---|---|
| 项目经理 | 全阶段 | 对整个项目负责,任务分配、把控进度 |
| 产品经理 | 需求分析 | 进行需求调研,输出需求调研文档、产品原型等 |
| UI设计师 | 设计 | 根据产品原型输出界面效果图 |
| 架构师 | 设计 | 项目整体架构设计、技术选型等 |
| 开发工程师 | 编码 | 功能代码实现 |
| 测试工程师 | 测试 | 编写测试用例,输出测试报告 |
| 运维工程师 | 上线运维 | 软件环境搭建、项目上线 |
大厂研发流程
需求文档(确定需求包括的功能/确定开发包括的难点) -> 架构图(模块间的依赖关系,角色的分工) -> 确定协议(后端间,前后端间通讯协议,兼容性+易于维护) -> 设计数据结构和算法(格式/容器处理数据,算法大多直接调包) -> 预估容量与性能 -> 考虑部署(环境,分布式,风险意识)-> 设计评审(彼此评审,多方面评价)-> 写代码(不仅在一个地方看到写代码是脑力活了)-> 自测 -> 联调(费时费力,一定先自测好) -> 交给测试岗 -> code review(反复修改) -> 合入主干 -> 发布(考虑兼容性)
2.sky项目初步介绍
技术栈
用户层:系统管理后台的前端页面
网关层:Nginx是一个服务器,主要用来作为Http服务器,部署静态资源,访问性能高。
Nginx中还有两个比较重要的作用: 反向代理和负载均衡, 在进行项目部署时,要实现Tomcat的负载均衡,就可以通过Nginx来实现。
应用层:
SpringBoot: 快速构建Spring项目, 采用 "约定优于配置" 的思想, 简化Spring项目的配置开发。
SpringMVC:SpringMVC是spring框架的一个模块,springmvc和spring无需通过中间整合层进行整合,可以无缝集成。
Spring Task: 由Spring提供的定时任务框架。
httpclient: 主要实现了对http请求的发送。
Spring Cache: 由Spring提供的数据缓存框架
JWT: 用于对应用程序上的用户进行身份验证的标记。
阿里云OSS: 对象存储服务,在项目中主要存储文件,如图片等。
Swagger: 可以自动的帮助开发人员生成接口文档,并对接口进行测试。
POI: 封装了对Excel表格的常用操作。
WebSocket: 一种通信网络协议,使客户端和服务器之间的数据交换更加简单,用于项目的来单、催单功能实现。
数据层:
MySQL: 关系型数据库, 本项目的核心业务数据都会采用MySQL进行存储。
Redis: 基于key-value格式存储的内存数据库, 访问速度快, 经常使用它做缓存。
Mybatis: 本项目持久层(项目的持久层是指在软件开发中负责处理数据持久化的部分,也称为数据访问层或数据持久化层)将会使用Mybatis开发。
pagehelper: 分页插件。
spring data redis: 简化java代码操作Redis的API。
工具:
git: 版本控制工具, 在团队协作中, 使用该工具对项目中的代码进行管理。
maven: 项目构建工具。
junit:单元测试工具,开发人员功能实现完毕后,需要通过junit对功能进行单元测试。
postman: 接口测工具,模拟用户发起的各类HTTP请求,获取对应的响应结果。
IDEA搭建环境
Git:在 IDEA 中使用 Git 图文教程_idea连接git-CSDN博客
更改文件夹后出错,导致无法commit and push:
连接数据库:
超详细的Idea与MySQL的连接(从入门到精通)_idea连接数据库-CSDN博客
更改mysql文件夹名称,出现ERROR2003:
nginx作用
反向代理
前端请求地址:http://localhost/api/employee/login
后端接口地址:http://localhost:8080/admin/employee/login
很明显,两个地址不一致,那是如何请求到后端服务的呢?
nginx 反向代理,就是将前端发送的动态请求由 nginx 转发到后端服务器,而不是不直接发给后端
好处:
提高访问速度
因为nginx本身可以进行缓存,如果访问的同一接口,并且做了数据缓存,nginx就直接可把数据返回,不需要真正地访问服务端,从而提高访问速度。
进行负载均衡
所谓负载均衡,就是把大量的请求按照我们指定的方式均衡的分配给集群中的每台服务器。
保证后端服务安全
因为一般后台服务地址不会暴露,所以使用浏览器不能直接访问,可以把nginx作为请求访问的入口,请求到达nginx后转发到具体的服务中,从而保证后端服务的安全。
配置:
nginx 反向代理的配置方式 conf文件中:
1 | server{ |
proxy_pass:该指令是用来设置代理服务器的地址,可以是主机名称,IP地址加端口号等形式。
负载均衡
当如果服务以集群的方式进行部署时,那nginx在转发请求到服务器时就需要做相应的负载均衡。其实,负载均衡从本质上来说也是基于反向代理来实现的,最终都是转发请求。
nginx 负载均衡的配置方式:
1 | upstream webservers{ |
upstream:如果代理服务器是一组服务器的话,我们可以使用upstream指令配置后端服务器组。
如上代码的含义是:监听80端口号, 然后当我们访问 http://localhost:80/api/../..这样的接口的时候,它会通过 location /api/ {} 这样的反向代理到 http://webservers/admin,根据webservers名称找到一组服务器,根据设置的负载均衡策略(默认是轮询)转发到具体的服务器。
注:upstream后面的名称可自定义,但要上下保持一致。
nginx 负载均衡策略:
| 名称 | 说明 |
|---|---|
| 轮询 | 默认方式 |
| weight | 权重方式,默认为1,权重越高,被分配的客户端请求就越多 |
| ip_hash | 依据ip分配方式,这样每个访客可以固定访问一个后端服务 |
| least_conn | 依据最少连接方式,把请求优先分配给连接数少的后端服务 |
| url_hash | 依据url分配方式,这样相同的url会被分配到同一个后端服务 |
| fair | 依据响应时间方式,响应时间短的服务将会被优先分配 |
加密登录
STEP1:修改数据库中的密码password值,为md5(一个hash算法)加密后的内容
STEP2:修改Java代码,将前端提交的代码通过md5加密再对比数据库中固定内容
1 | password = DigestUtils.md5DigestAsHex(password.getBytes()); |
导入接口文档
方式:YApi导入.json数据 https://yapi.pro/
YApi是一个开源的接口管理平台,它主要用于帮助团队更好地管理和维护API(Application Programming Interface)接口文档。
后端自测
利用Swagger:
Swagger 是一个规范和完整的框架,用于生成、描述、调用和可视化 RESTful 风格的 Web 服务(https://swagger.io/)。 它的主要作用是:
使得前后端分离开发更加方便,有利于团队协作
接口的文档在线自动生成,降低后端开发人员编写接口文档的负担
功能测试
Spring已经将Swagger纳入自身的标准,建立了Spring-swagger项目,现在叫Springfox。通过在项目中引入Springfox ,即可非常简单快捷的使用Swagger。
目前都使用knife4j框架:Java MVC框架集成Swagger生成文档API增强解决方案
1.导入Maven依赖 pox.xml
1 | <dependency> |
2.在配置类中加入 knife4j 相关配置
3.设置静态资源映射,否则接口文档页面无法访问
4.访问测试,接口文档路径在原路径后加入:/doc.html(静态资源映射)
接口测试:测试登录功能
Swagger常用注解:通过注解可以控制生成的接口文档,使接口文档拥有更好的可读性,常用注解如下:
| 注解 | 说明 |
|---|---|
| @Api | 用在类上,例如Controller,表示对类的说明 |
| @ApiModel | 用在类上,例如entity、DTO、VO |
| @ApiModelProperty | 用在属性上,描述属性信息 |
| @ApiOperation | 用在方法上,例如Controller的方法,说明方法的用途、作用 |
Swagger PK YApi:
1、Yapi 是设计阶段使用的工具,管理和维护接口
2、Swagger 在开发阶段使用的框架,帮助后端开发人员做后端的接口测试
3.实现功能
实现任何一个功能都要有如下几步:
需求分析与设计->代码开发->功能测试->代码完善
一般在做需求分析时,往往都是对照着产品原型进行分析,因为产品原型比较直观,便于我们理解业务,设计出来表单内容/文档/接口
代码开发是根据需求分析的内容,结合代码的原本框架,根据功能添加新的部分(选择实现功能的方法)
功能测试实现方式:
- 通过接口文档测试 swagger的doc/html,向后端发送数据
- 通过前后端联调测试:nginx启动http服务,在前端直接发送数据到后端
代码完善:针对功能测试中程序出现的问题,调整代码的内容,接下来在实现功能中,我们将记录重点集中在代码开发和代码完善
新增员工
代码开发
根据新增员工接口设计对应的DTO(当前端提交的数据和实体类中对应的属性差别比较大时,建议使用DTO来封装数据)
什么是DTO?
Java是面向对象(object)的,在开发过程中,我们会封装各种各样的实体类
一篇文章带你搞懂Controller、Service等各层的功能与作用 - 知乎 (zhihu.com)
| 实体类 | 说明 |
|---|---|
| PO持久化对象(Persistent Object) | 用于表示数据库中的实体或表的映射 通常与数据库表的结构和字段对应 PO的属性对应数据库表的字段,可以进行持久化操作(新增、查询、更新、删除) |
| VO值对象(Value Object) | VO是值对象,用于封装数据,通常是不可变的,用于传递数据而不包含业务逻辑,VO可以用于在不同层之间传递数据,如前端和后端之间,后端的返回的到前端的数据只需要保留必要的字段就可以,将这些必要的字段封装起来就是VO |
| BO业务对象(Business Object) | BO是业务对象,用于封装业务逻辑和操作包含与业务相关的方法和属性,用于实现业务规则和操作,BO通常与领域模型紧密相关,用于表示业务概念和业务流程 |
| DO数据对象(Data/Domain Object) | DO通常与BO和PO相对应,用于实现领域模型和业务逻辑,用于表示从数据存储中得到的数据 |
| DAO数据访问对象(Data Access Object) | DAO是数据访问对象,用于封装对数据库的访问操作,也就是我们常说的Dao层 提供对数据库的增删改查等操作的接口 DAO可以隐藏底层数据库的具体实现细节,使得业务逻辑层与数据库解耦 |
| DTO数据传输对象(Data Transfer Object) | DTO是数据传输对象,用于在不同层之间传输数据 通常用于优化数据传输的性能和减少网络通信的开销。 DTO可以封装多个对象的数据,以减少网络请求次数 如果说VO一般用于前端和后端之后传输数据,那么DTO就是在后端的不同层之间传递数据,例如controller层和service层或者在服务之间结构调用的时候使用DTO |
| POJO普通Java对象(Plain Old Java Object) | POJO是一个简单的Java对象,没有特定的限制和约束 是一种普通的Java类,不依赖于特定的框架或接口 |
Service层:服务层 由于Dao里面存放了对表操作的方法,entity类中存放了映射表的POJO类。Service的作用就是将Dao和entity类整合起来,进行再次封装,封装成一个方法,我们调用这个方法,就实现了对某个表的增删改查操作。
Controller:控制层 负责请求转发,接受页面传递过来的参数,根据参数的不同,是调用不同的Service层方法进行操作,操作完成后将返回结果传递给页面。
数据访问层:
Mapper:Mapper模式通常是指对象-关系映射(ORM)中的组件。它负责将领域对象和数据库表之间进行映射,实现数据的读取和写入。Mapper将数据库操作转换为对象操作,屏蔽了底层数据库的细节,使得开发人员可以使用面向对象的方式操作数据。 它可以处理对象与关系型数据库之间的转换,包括查询、插入、更新和删除等操作。
DAO:DAO全称是(Data Access Objects) ,数据库访问对象,主要的功能就是用于进行数据操作的,在程序的标准开发架构中属于数据访问层的操作。可以简单理解为一张数据表,就有一个DAO与之对应,与数据库的操作,增删改查等方法。DAO层可以实现对数据的持久化操作,使得业务逻辑可以通过DAO的接口来访问数据,而不需要关心具体的数据访问实现方式。
STEP1:自定义DTO类。
进入sky-pojo模块,在com.sky.dto包下,已定义EmployeeDTO
1 | package com.sky.dto; |
STEP2:Controller层操作
EmployeeController中创建新增员工方法
进入到sky-server模块中,在com.sky.controller.admin包下,在EmployeeController中创建新增员工方法,接收前端提交的参数。
1 | /** |
注:Result类定义了后端统一返回结果格式。(success(有无参数) error)
STEP3:Service层接口与实现
在EmployeeService接口中声明新增员工方法
进入到sky-server模块中,com.sky.server.EmployeeService
1 | /** |
在接口的实现中:
在EmployeeServiceImpl中实现新增员工方法
com.sky.server.impl.EmployeeServiceImpl中创建方法
1 | /** |
STEP4:Mapper层
在EmployeeMapper中声明insert方法
com.sky.EmployeeMapper中添加方法
由于SQL语句不是很复杂,因而此处用注解@Insert实现:注意在values值后加的内容要用驼峰命名法(application.yml已开启驼峰命名),而不是和数据库中的名称一致
1 | /** |
功能测试
1.接口文档测试
启动服务:访问http://localhost:8080/doc.html,进入新增员工接口
json数据:
1 | { |
响应码:401 报错,原因:JwtTokenAdminInterceptor拦截器,需要校验token,由于JWT令牌校验失败,导致EmployeeController的save方法没有被调用,被拦截器拦截了
解决方法:调用员工登录接口获得一个合法的JWT令牌,使用admin用户登录获取令牌,将合法的JWT令牌添加到全局参数中
文档管理-->全局参数设置-->添加参数,使得每次发送的json信息都会增加一个token头部,是合法的令牌;
什么是JWT?
https://blog.csdn.net/java_mindmap/article/details/123343404
JWT概念
JWT , 全写JSON Web Token, 是开放的行业标准RFC7591,它定义了一种紧凑的、自包含的方式,用于作为JSON对象在各方之间安全地传输信息。该信息可以被验证和信任,因为它是数字签名的。
JWT加密JSON,保存在客户端,不需要在服务端保存会话信息,可以应用在前后端分离的用户验证上,后端对前端输入的用户信息进行加密产生一个令牌字符串, 前端再次请求时附加此字符串,后端再使用算法解密。
JWT使用场景:
- Authorization (授权) : 这是使用JWT的最常见场景。一旦用户登录,后续每个请求都将包含JWT,允许用户访问该令牌允许的路由、服务和资源。单点登录是现在广泛使用的JWT的一个特性,因为它的开销很小,并且可以轻松地跨域使用。
- Information Exchange (信息交换) : 对于安全的在各方之间传输信息而言,JSON Web Tokens无疑是一种很好的方式。因为JWT可以被签名,例如,用公钥/私钥对,你可以确定发送人就是它们所说的那个人。另外,由于签名是使用头和有效负载计算的,您还可以验证内容没有被篡改。
流程:
JSON Web Token由三部分组成,它们之间用圆点(.)连接。这三部分分别是:
Header:Header 部分是一个 JSON 对象,存放Token类型和加密算法。加密算法常见的有MD5、SHA、HMAC( Hash Message Authentication Code)。
Payload:存放有效信息,包括
- 标准的声明,类似开发语言总的关键字,如
- iss(Issuser) - 签发者
- sub Subject 面向主体
- aud Audience 接收方
- exp Expiration time 过期时间戳
- nbf Not Before, 开始生效时间戳
- iat(Issued at) 签发时间
- jti(JWT ID): 唯一标识
- 公共的声明:一般添加业务相关的必要信息,因为可解密,不建议敏感信息。
- 私有的声明:提供者和消费者共同定义的声明,Base64对称解密,不建议敏感信息
- 标准的声明,类似开发语言总的关键字,如
Signature签名:对前两个部分的签名,防止数据篡改。
首先,需要指定一个密钥(secret)。这个密钥只有服务器才知道,不能泄露给用户。然后,使用 Header 里面指定的签名算法(默认是 HMAC SHA256),按照下面的公式产生签名。
1
2
3
4HMACSHA256(
base64UrlEncode(header) + "." +
base64UrlEncode(payload),
secret)算出签名以后,把 Header、Payload、Signature 三个部分拼成一个字符串,每个部分之间用"点"(.)分隔,就可以返回给用户。
secret-密钥 使用header中声明的加密算法对Header和payload的加密连接字符串进行secret组合加密。密钥保存在服务端,服务端根据密钥进行解密验证。
标准的声明,类似开发语言总的关键字
格式:xxxx.yyyy.zzzz
java-jwt/jjwt
java-jwt是Java语言中推荐的JWT实现库,使用Maven导入如下:
1 | <dependency> |
产生加密Token
1 | String token = JWT.create() |
解密Token获取负载信息并验证Token是否有效
1 | String userId = JWT.decode(token).getAudience().get(0); |
所谓的Token,其实就是服务端生成的一串加密字符串、以作客户端进行请求的一个“令牌”。当用户第一次使用账号密码成功进行登录后,服务器便生成一个Token及Token失效时间并将此返回给客户端,若成功登陆,以后客户端只需在有效时间内带上这个Token前来请求数据即可,无需再次带上用户名和密码。
2.前后端联调测试
启动nginx,访问 http://localhost,通过前端员工管理界面添加信息,查看emplyee表,发现测试成功
代码完善
目前,程序存在的问题主要有两个:
- 录入的用户名已存在,抛出的异常后没有处理
- 新增员工时,创建人id和修改人id设置为固定值
接下来,我们对上述两个问题依次进行分析和解决。
问题一的解决:
使得每次录入存在用户名时,前端会收到提示消息,通过全局异常处理器来处理,进入到sky-server模块,com.sky.hander包下,GlobalExceptionHandler.java添加方法
1 | /** |
问题二的解决:
在员工登录成功后会生成JWT令牌并响应给前端:
JWT响应过程:
后续请求中,前端会携带JWT令牌,通过JWT令牌可以解析出当前登录员工id,解析出登录员工id后,如何传递给Service的save方法?
通过ThreadLocal
ThreadLocal 并不是一个Thread,而是Thread的局部变量。 ThreadLocal为每个线程提供单独一份存储空间,具有线程隔离的效果,只有在线程内才能获取到对应的值,线程外则不能访问。
常用方法:
- public void set(T value) 设置当前线程的线程局部变量的值
- public T get() 返回当前线程所对应的线程局部变量的值
- public void remove() 移除当前线程的线程局部变量
于是在初始工程中已经封装了 ThreadLocal 操作的工具类前提下,修改代码:
在拦截器中interceptor解析出当前登录员工id,并放入线程局部变量中 ->在Service中获取线程局部变量中的值
1 | Long empId = Long.valueOf(claims.get(JwtClaimsConstant.EMP_ID).toString()); |
即可完成创建人id的更新
开始刷,随后有时间再去看acwing的算法基础课、提高课、labulagu等(侧重于系统化长时间学习,ACMer,针对思维)