Java微服务分布式分库分表ShardingSphere - ShardingSphere-JDBC
·
还有兄弟不知道网络安全面试可以提前刷题吗？费时一周整理的160+网络安全面试题，金九银十，做网络安全面试里的显眼包！
王岚嵚工程师面试题（附答案），只能帮兄弟们到这儿了！如果你能答对70%，找一个安全工作，问题不大。
对于有1-3年工作经验，想要跳槽的朋友来说，也是很好的温习资料！
【完整版领取方式在文末！！】
93道网络安全面试题
需要体系化学习资料的朋友，可以加我V获取：vip204888 （备注网络安全）
内容实在太多，不一一截图了
黑客学习资源推荐
最后给大家分享一份全套的网络安全学习资料，给那些想学习 网络安全的小伙伴们一点帮助！
对于从来没有接触过网络安全的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。
😝朋友们如果有需要的话，可以联系领取~
1️⃣零基础入门
① 学习路线
对于从来没有接触过网络安全的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。
② 路线对应学习视频
同时每个成长路线对应的板块都有配套的视频提供：
2️⃣视频配套工具&国内外网安书籍、文档
① 工具
② 视频
③ 书籍
资源较为敏感，未展示全面，需要的最下面获取
② 简历模板
因篇幅有限，资料较为敏感仅展示部分资料，添加上方即可获取👆
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
前言
Apache ShardingSphere 是一款分布式的数据库生态系统， 可以将任意数据库转换为分布式数据库，并通过数据分片、弹性伸缩、加密等能力对原有数据库进行增强。
Apache ShardingSphere 设计哲学为 Database Plus，旨在构建异构数据库上层的标准和生态。 它关注如何充分合理地利用数据库的计算和存储能力，而并非实现一个全新的数据库。 它站在数据库的上层视角，关注它们之间的协作多于数据库自身。
1、ShardingSphere-JDBC
ShardingSphere-JDBC 定位为轻量级 Java 框架，在 Java 的 JDBC 层提供的额外服务。
1.1、应用场景
Apache ShardingSphere-JDBC 可以通过Java 和 YAML 这 2 种方式进行配置，开发者可根据场景选择适合的配置方式。
- 数据库读写分离
- 数据库分表分库
1.2、原理
- Sharding-JDBC中的路由结果是通过分片字段和分片方法来确定的,如果查询条件中有 id 字段的情况还好，查询将会落到某个具体的分片
- 如果查询没有分片的字段，会向所有的db或者是表都会查询一遍，让后封装结果集给客户端。
1.3、spring boot整合
1.3.1、添加依赖
<!-- 分表分库依赖 -->
<dependency>
<groupId>org.apache.shardingsphere</groupId>
<artifactId>sharding-jdbc-spring-boot-starter</artifactId>
<version>4.1.1</version>
</dependency>
1.3.2、添加配置
spring:
main:
# 一个实体类对应多张表，覆盖
allow-bean-definition-overriding: true
shardingsphere:
datasource:
ds0:
#配置数据源具体内容，包含连接池，驱动，地址，用户名和密码
driver-class-name: com.mysql.cj.jdbc.Driver
jdbc-url: jdbc:mysql://127.0.0.1:3306/account?autoReconnect=true&allowMultiQueries=true
password: root
type: com.zaxxer.hikari.HikariDataSource
username: root
ds1:
driver-class-name: com.mysql.cj.jdbc.Driver
jdbc-url: jdbc:mysql://127.0.0.1:3306/account?autoReconnect=true&allowMultiQueries=true
password: root
type: com.zaxxer.hikari.HikariDataSource
username: root
# 配置数据源，给数据源起名称
names: ds0,ds1
props:
sql:
show: true
sharding:
tables:
user\_info:
#指定 user\_info 表分布情况，配置表在哪个数据库里面，表名称都是什么
actual-data-nodes: ds0.user_info_${0..9}
database-strategy:
standard:
preciseAlgorithmClassName: com.xxxx.store.account.config.PreciseDBShardingAlgorithm
rangeAlgorithmClassName: com.xxxx.store.account.config.RangeDBShardingAlgorithm
sharding-column: id
table-strategy:
standard:
preciseAlgorithmClassName: com.xxxx.store.account.config.PreciseTablesShardingAlgorithm
rangeAlgorithmClassName: com.xxxx.store.account.config.RangeTablesShardingAlgorithm
sharding-column: id
1.3.3、制定分片算法
1.3.3.1、精确分库算法
/\*\*
\* 精确分库算法
\*/
public class PreciseDBShardingAlgorithm implements PreciseShardingAlgorithm<Long> {
/\*\*
\*
\* @param availableTargetNames 配置所有的列表
\* @param preciseShardingValue 分片值
\* @return
\*/
@Override
public String doSharding(Collection<String> availableTargetNames, PreciseShardingValue<Long> preciseShardingValue) {
Long value = preciseShardingValue.getValue();
//后缀 0，1
String postfix = String.valueOf(value % 2);
for (String availableTargetName : availableTargetNames) {
if(availableTargetName.endsWith(postfix)){
return availableTargetName;
}
}
throw new UnsupportedOperationException();
}
}
1.3.3.2、范围分库算法
/\*\*
\* 范围分库算法
\*/
public class RangeDBShardingAlgorithm implements RangeShardingAlgorithm<Long> {
@Override
public Collection<String> doSharding(Collection<String> collection, RangeShardingValue<Long> rangeShardingValue) {
return collection;
}
}
1.3.3.3、精确分表算法
/\*\*
\* 精确分表算法
\*/
public class PreciseTablesShardingAlgorithm implements PreciseShardingAlgorithm<Long> {
/\*\*
\*
\* @param availableTargetNames 配置所有的列表
\* @param preciseShardingValue 分片值
\* @return
\*/
@Override
public String doSharding(Collection<String> availableTargetNames, PreciseShardingValue<Long> preciseShardingValue) {
Long value = preciseShardingValue.getValue();
//后缀
String postfix = String.valueOf(value % 10);
for (String availableTargetName : availableTargetNames) {
if(availableTargetName.endsWith(postfix)){
return availableTargetName;
}
}
throw new UnsupportedOperationException();
}
}
1.3.3.4、范围分表算法
/\*\*
\* 范围分表算法
\*/
public class RangeTablesShardingAlgorithm implements RangeShardingAlgorithm<Long> {
@Override
public Collection<String> doSharding(Collection<String> collection, RangeShardingValue<Long> rangeShardingValue) {
Collection<String> result = new ArrayList<>();
Range<Long> valueRange = rangeShardingValue.getValueRange();
Long start = valueRange.lowerEndpoint();
Long end = valueRange.upperEndpoint();
Long min = start % 10;
Long max = end % 10;
for (Long i = min; i < max +1; i++) {
Long finalI = i;
collection.forEach(e -> {
if(e.endsWith(String.valueOf(finalI))){
result.add(e);
}
});
}
return result;
}
}
1.3.4、数据库建表
DROP TABLE IF EXISTS `user\_info\_0`;
CREATE TABLE `user\_info\_0` (
`id` bigint(20) NOT NULL,
`account` varchar(255) DEFAULT NULL,
`user\_name` varchar(255) DEFAULT NULL,
`pwd` varchar(255) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
1.3.5、业务应用
1.3.5.1、定义实体类
@Data
@TableName(value = "user\_info")
public class UserInfo {
/\*\*
\* 主键
\*/
private Long id;
/\*\*
\* 账号
\*/
private String account;
/\*\*
\* 用户名
\*/
private String userName;
/\*\*
\* 密码
\*/
private String pwd;
}
1.3.5.2、定义接口
public interface UserInfoService{
/\*\*
\* 保存
\* @param userInfo
\* @return
\*/
public UserInfo saveUserInfo(UserInfo userInfo);
public UserInfo getUserInfoById(Long id);
public List<UserInfo> listUserInfo();
}
1.3.5.3、实现类
@Service
public class UserInfoServiceImpl extends ServiceImpl<UserInfoMapper, UserInfo> implements UserInfoService {
@Override
@Transactional
public UserInfo saveUserInfo(UserInfo userInfo) {
userInfo.setId(IdUtils.getId());
this.save(userInfo);
return userInfo;
}
@Override
public UserInfo getUserInfoById(Long id) {
return this.getById(id);
}
@Override
public List<UserInfo> listUserInfo() {
QueryWrapper<UserInfo> userInfoQueryWrapper = new QueryWrapper<>();
userInfoQueryWrapper.between("id",1623695688380448768L,1623695688380448769L);
return this.list(userInfoQueryWrapper);
}
}
1.3.6、生成ID - 雪花算法
package com.xxxx.tore.common.utils;
import cn.hutool.core.lang.Snowflake;
import cn.hutool.core.util.IdUtil;
/\*\*
\* 生成各种组件ID
\*/
public class IdUtils {
/\*\*
\* 雪花算法
\* @return
\*/
public static long getId(){
Snowflake snowflake = IdUtil.getSnowflake(0, 0);
long id = snowflake.nextId();
return id;
}
}
1.4、seata与sharding-jdbc整合
https://github.com/seata/seata-samples/tree/master/springcloud-seata-sharding-jdbc-mybatis-plus-samples
1.4.1、common中添加依赖
<!--seata依赖-->
<dependency>
<groupId>com.alibaba.cloud</groupId>
<artifactId>spring-cloud-starter-alibaba-seata</artifactId>
<version>2021.0.4.0</version>
</dependency>
<!-- sharding-jdbc整合seata分布式事务-->
<dependency>
<groupId>org.apache.shardingsphere</groupId>
<artifactId>sharding-transaction-base-seata-at</artifactId>
<version>4.1.1</version>
</dependency>
<dependency>
<groupId>com.alibaba.cloud</groupId>
<artifactId>spring-cloud-starter-alibaba-nacos-discovery</artifactId>
<version>2021.0.4.0</version>
<exclusions>
<exclusion>
<groupId>com.alibaba.nacos</groupId>
<artifactId>nacos-client</artifactId>
</exclusion>
</exclusions>
</dependency>
<dependency>
<groupId>com.alibaba.nacos</groupId>
<artifactId>nacos-client</artifactId>
<version>1.4.2</version>
</dependency>
1.4.2、改造account-service服务
@Service
public class AccountServiceImpl extends ServiceImpl<AccountMapper, Account> implements AccountService {
@Autowired
private OrderService orderService;
@Autowired
private StorageService storageService;
/\*\*
\* 存放商品编码及其对应的价钱
\*/
private static Map<String,Integer> map = new HashMap<>();
static {
map.put("c001",3);
map.put("c002",5);
map.put("c003",10);
map.put("c004",6);
}
@Override
@Transactional
@ShardingTransactionType(TransactionType.BASE)
public void debit(OrderDTO orderDTO) {
//扣减账户余额
int calculate = this.calculate(orderDTO.getCommodityCode(), orderDTO.getCount());
AccountDTO accountDTO = new AccountDTO(orderDTO.getUserId(), calculate);
QueryWrapper<Account> objectQueryWrapper = new QueryWrapper<>();
objectQueryWrapper.eq("id",1);
objectQueryWrapper.eq(accountDTO.getUserId() != null,"user\_id",accountDTO.getUserId());
Account account = this.getOne(objectQueryWrapper);
account.setMoney(account.getMoney() - accountDTO.getMoney());
this.saveOrUpdate(account);
//扣减库存
this.storageService.deduct(new StorageDTO(null,orderDTO.getCommodityCode(),orderDTO.getCount()));
//生成订单
this.orderService.create(orderDTO);
}
/\*\*
\* 计算购买商品的总价钱
\* @param commodityCode
\* @param orderCount
\* @return
\*/
private int calculate(String commodityCode, int orderCount){
//商品价钱
Integer price = map.get(commodityCode) == null ? 0 : map.get(commodityCode);
return price \* orderCount;
}
}
注意：调单生成调用的逻辑修改，减余额->减库存->生成订单。调用入口方法注解加上：@ShardingTransactionType(TransactionType.BASE)
1.4.3、修改business-service服务
@Service
public class BusinessServiceImpl implements BusinessService {
@Autowired
private OrderService orderService;
@Autowired
private StorageService storageService;
@Autowired
private AccountService accountService;
@Override
public void purchase(OrderDTO orderDTO) {
//扣减账号中的钱
accountService.debit(orderDTO);
}
}
1.4.4、修改order-service服务
@Service
public class OrderServiceImpl extends ServiceImpl<OrderMapper,Order> implements OrderService {
/\*\*
\* 存放商品编码及其对应的价钱
\*/
private static Map<String,Integer> map = new HashMap<>();
static {
map.put("c001",3);
map.put("c002",5);
map.put("c003",10);
map.put("c004",6);
}
@Override
@Transactional
@ShardingTransactionType(TransactionType.BASE)
public Order create(String userId, String commodityCode, int orderCount) {
int orderMoney = calculate(commodityCode, orderCount);
Order order = new Order();
### 如何自学黑客&网络安全
#### 黑客零基础入门学习路线&规划
**初级黑客**
**1、网络安全理论知识（2天）**
①了解行业相关背景，前景，确定发展方向。
②学习网络安全相关法律法规。
③网络安全运营的概念。
④等保简介、等保规定、流程和规范。（非常重要）
**2、渗透测试基础（一周）**
①渗透测试的流程、分类、标准
②信息收集技术：主动/被动信息搜集、Nmap工具、Google Hacking
③漏洞扫描、漏洞利用、原理，利用方法、工具（MSF）、绕过IDS和反病毒侦察
④主机攻防演练：MS17-010、MS08-067、MS10-046、MS12-20等
**3、操作系统基础（一周）**
①Windows系统常见功能和命令
②Kali Linux系统常见功能和命令
③操作系统安全（系统入侵排查/系统加固基础）
**4、计算机网络基础（一周）**
①计算机网络基础、协议和架构
②网络通信原理、OSI模型、数据转发流程
③常见协议解析（HTTP、TCP/IP、ARP等）
④网络攻击技术与网络安全防御技术
⑤Web漏洞原理与防御：主动/被动攻击、DDOS攻击、CVE漏洞复现
**5、数据库基础操作（2天）**
①数据库基础
②SQL语言基础
③数据库安全加固
**6、Web渗透（1周）**
①HTML、CSS和JavaScript简介
②OWASP Top10
③Web漏洞扫描工具
④Web渗透工具：Nmap、BurpSuite、SQLMap、其他（菜刀、漏扫等）
恭喜你，如果学到这里，你基本可以从事一份网络安全相关的工作，比如渗透测试、Web 渗透、安全服务、安全分析等岗位；如果等保模块学的好，还可以从事等保工程师。薪资区间6k-15k
到此为止，大概1个月的时间。你已经成为了一名“脚本小子”。那么你还想往下探索吗？
如果你想要入坑黑客&网络安全，笔者给大家准备了一份：282G全网最全的网络安全资料包评论区留言即可领取！
**7、脚本编程（初级/中级/高级）**
在网络安全领域。是否具备编程能力是“脚本小子”和真正黑客的本质区别。在实际的渗透测试过程中，面对复杂多变的网络环境，当常用工具不能满足实际需求的时候，往往需要对现有工具进行扩展，或者编写符合我们要求的工具、自动化脚本，这个时候就需要具备一定的编程能力。在分秒必争的CTF竞赛中，想要高效地使用自制的脚本工具来实现各种目的，更是需要拥有编程能力.
如果你零基础入门，笔者建议选择脚本语言Python/PHP/Go/Java中的一种，对常用库进行编程学习；搭建开发环境和选择IDE,PHP环境推荐Wamp和XAMPP， IDE强烈推荐Sublime；·Python编程学习，学习内容包含：语法、正则、文件、 网络、多线程等常用库，推荐《Python核心编程》，不要看完；·用Python编写漏洞的exp,然后写一个简单的网络爬虫；·PHP基本语法学习并书写一个简单的博客系统；熟悉MVC架构，并试着学习一个PHP框架或者Python框架 (可选)；·了解Bootstrap的布局或者CSS。
**8、超级黑客**
这部分内容对零基础的同学来说还比较遥远，就不展开细说了，附上学习路线。
#### 网络安全工程师企业级学习路线
如图片过大被平台压缩导致看不清的话，评论区点赞和评论区留言获取吧。我都会回复的
视频配套资料&国内外网安书籍、文档&工具
**需要体系化学习资料的朋友，可以加我V获取：vip204888 （备注网络安全）**
当然除了有配套的视频，同时也为大家整理了各种文档和书籍资料&工具，并且已经帮大家分好类了。
一些笔者自己买的、其他平台白嫖不到的视频教程。
**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**
**[需要这份系统化资料的朋友，可以点击这里获取](https://bbs.csdn.net/topics/618540462)**
**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
更多推荐
19
0- 0
已为社区贡献3条内容
所有评论(0)