分布式

分布式

微言Netty:分布式服务框架

玻璃樽 发表了文章 • 0 个评论 • 360 次浏览 • 2020-05-26 09:33 • 来自相关话题


【编者的话】几年前,我就一直想着要设计一款自己的实时通讯框架,于是出来了TinySocket,它是基于微软的SocketAsyncEventArgs来实现的,由于此类提供的功能很简洁,所以当时自己实现了缓冲区处理,粘包拆包等,彼时的.net平台还没有一款成熟的...
查看更多

如何优雅的实现分布式锁

老马 发表了文章 • 0 个评论 • 592 次浏览 • 2020-05-17 21:43 • 来自相关话题


概述

提到分布式锁大家都会想到如下两种:
  • 基于Redisson组件,使用redlock算法实现
  • 基于Apache Curator,利用Zookeeper的临时顺序节点模型实现


今天我们来说说第三种,使用 Spring Integr...
查看更多

深入云原生 AI:基于 Alluxio 数据缓存的大规模深度学习训练性能优化

阿里巴巴云原生 发表了文章 • 0 个评论 • 704 次浏览 • 2020-05-13 11:24 • 来自相关话题


作者 | 车漾(阿里云高级技术专家)、顾荣(南京大学 副研究员)

导读:Alluxio 项目诞生于 UC Berkeley AMP 实验室,自开源以来经过 7 年的不断开发迭代,支撑大数据处理场景的数据统一管理和高效缓存功能日趋成熟。然而,随着云原生...
查看更多

基于消息队列的分布式事务解决方案

aoxiang 发表了文章 • 0 个评论 • 854 次浏览 • 2020-05-11 21:05 • 来自相关话题


前两天发了工资,第一反应是想着要给远方的女朋友一点惊喜!于是打开了平安银行的APP给女朋友转点钱!填写上对方招商银行卡的卡号、开户名,一键转账!搞定!在我点击的那瞬间,就收到了app的账户变动的提醒,并且出现了图一所示的提示界面:“处理中,正在等待对方银行返回...
查看更多

分布式一致性与共识算法简介

大卫 发表了文章 • 0 个评论 • 866 次浏览 • 2020-05-09 19:21 • 来自相关话题


在介绍Raft算法之前,请考虑一下如果有机会,你会怎么设计一个分布式系统?注意,这里所说的分布式系统是几台服务器组成的一个对外服务的系统,比如分布式KV系统、分布式数据库系统等。

如果是单机系统,数据一般都在本地,基本不需要与外部通信,比如单机数据库系统...
查看更多

分布式系统中一致性哈希算法

大卫 发表了文章 • 1 个评论 • 792 次浏览 • 2020-04-14 12:06 • 来自相关话题


业务场景

近年来B2C、O2O等商业概念的提出和移动端的发展,使得分布式系统流行了起来。分布式系统相对于单系统,解决了流量大、系统高可用和高容错等问题。功能强大也意味着实现起来需要更多技术的支持。例如系统访问层的负载均衡,缓存层的多实例主从复制备份,数...
查看更多

分布式定时任务调度系统技术选型

老马 发表了文章 • 0 个评论 • 994 次浏览 • 2020-04-11 16:43 • 来自相关话题


什么是分布式定时任务

把分散的,可靠性差的计划任务纳入统一的平台,并实现集群管理调度和分布式部署的一种定时任务的管理方式,叫做分布式定时任务。

常见开源方案

Elastic-Job

Elastic-Job是由当当网基于Quartz二...
查看更多

如果要设计个分布式文件系统,该从哪些方面考虑?

玻璃樽 发表了文章 • 0 个评论 • 990 次浏览 • 2020-04-05 23:24 • 来自相关话题


【编者的话】分布式文件系统是分布式领域的一个基础应用,其中最著名的毫无疑问是HDFS/GFS。如今该领域已经趋向于成熟,但了解它的设计要点和思想,对我们将来面临类似场景/问题时,具有借鉴意义。并且,分布式文件系统并非只有HDFS/GFS这一种形态,在它之外,还...
查看更多

一个极简高效的秒杀系统(战略设计篇)

老马 发表了文章 • 0 个评论 • 1839 次浏览 • 2020-04-01 21:10 • 来自相关话题


2018年,楼主所在业务线开始发力探索线上O2O业务,但楼主所在公司并非纯电商公司,电商体系标配的商品中心、库存中心、活动系统都处于萌芽阶段不成气候。10月中旬,业务决定搞一波双十一大促提升品牌知名度。整个大促最核心功能点就是造一个秒杀系统,为整个活动会场积蓄...
查看更多

浅谈双十一背后的蚂蚁 LDC 架构和其 CAP 分析

大卫 发表了文章 • 0 个评论 • 1077 次浏览 • 2020-03-31 19:06 • 来自相关话题


自 2008 年双 11 以来,在每年双 11 超大规模流量的冲击上,蚂蚁金服都会不断突破现有技术的极限。

2010 年双 11 的支付峰值为 2 万笔/分钟,到 2017 年双 11 时这个数字变为了 25.6 万笔/秒。

2018 年双 11 的支付峰...
查看更多

微言Netty:分布式服务框架

玻璃樽 发表了文章 • 0 个评论 • 360 次浏览 • 2020-05-26 09:33 • 来自相关话题


【编者的话】几年前,我就一直想着要设计一款自己的实时通讯框架,于是出来了TinySocket,它是基于微软的SocketAsyncEventArgs来实现的,由于此类提供的功能很简洁,所以当时自己实现了缓冲区处理,粘包拆包等,彼时的.net平台还没有一款成熟的...
查看更多

如何优雅的实现分布式锁

老马 发表了文章 • 0 个评论 • 592 次浏览 • 2020-05-17 21:43 • 来自相关话题


概述

提到分布式锁大家都会想到如下两种:
  • 基于Redisson组件,使用redlock算法实现
  • 基于Apache Curator,利用Zookeeper的临时顺序节点模型实现


今天我们来说说第三种,使用 Spring Integr...
查看更多

基于消息队列的分布式事务解决方案

aoxiang 发表了文章 • 0 个评论 • 854 次浏览 • 2020-05-11 21:05 • 来自相关话题


前两天发了工资,第一反应是想着要给远方的女朋友一点惊喜!于是打开了平安银行的APP给女朋友转点钱!填写上对方招商银行卡的卡号、开户名,一键转账!搞定!在我点击的那瞬间,就收到了app的账户变动的提醒,并且出现了图一所示的提示界面:“处理中,正在等待对方银行返回...
查看更多

分布式一致性与共识算法简介

大卫 发表了文章 • 0 个评论 • 866 次浏览 • 2020-05-09 19:21 • 来自相关话题


在介绍Raft算法之前,请考虑一下如果有机会,你会怎么设计一个分布式系统?注意,这里所说的分布式系统是几台服务器组成的一个对外服务的系统,比如分布式KV系统、分布式数据库系统等。

如果是单机系统,数据一般都在本地,基本不需要与外部通信,比如单机数据库系统...
查看更多

分布式系统中一致性哈希算法

大卫 发表了文章 • 1 个评论 • 792 次浏览 • 2020-04-14 12:06 • 来自相关话题


业务场景

近年来B2C、O2O等商业概念的提出和移动端的发展,使得分布式系统流行了起来。分布式系统相对于单系统,解决了流量大、系统高可用和高容错等问题。功能强大也意味着实现起来需要更多技术的支持。例如系统访问层的负载均衡,缓存层的多实例主从复制备份,数...
查看更多

分布式定时任务调度系统技术选型

老马 发表了文章 • 0 个评论 • 994 次浏览 • 2020-04-11 16:43 • 来自相关话题


什么是分布式定时任务

把分散的,可靠性差的计划任务纳入统一的平台,并实现集群管理调度和分布式部署的一种定时任务的管理方式,叫做分布式定时任务。

常见开源方案

Elastic-Job

Elastic-Job是由当当网基于Quartz二...
查看更多

如果要设计个分布式文件系统,该从哪些方面考虑?

玻璃樽 发表了文章 • 0 个评论 • 990 次浏览 • 2020-04-05 23:24 • 来自相关话题


【编者的话】分布式文件系统是分布式领域的一个基础应用,其中最著名的毫无疑问是HDFS/GFS。如今该领域已经趋向于成熟,但了解它的设计要点和思想,对我们将来面临类似场景/问题时,具有借鉴意义。并且,分布式文件系统并非只有HDFS/GFS这一种形态,在它之外,还...
查看更多

一个极简高效的秒杀系统(战略设计篇)

老马 发表了文章 • 0 个评论 • 1839 次浏览 • 2020-04-01 21:10 • 来自相关话题


2018年,楼主所在业务线开始发力探索线上O2O业务,但楼主所在公司并非纯电商公司,电商体系标配的商品中心、库存中心、活动系统都处于萌芽阶段不成气候。10月中旬,业务决定搞一波双十一大促提升品牌知名度。整个大促最核心功能点就是造一个秒杀系统,为整个活动会场积蓄...
查看更多

浅谈双十一背后的蚂蚁 LDC 架构和其 CAP 分析

大卫 发表了文章 • 0 个评论 • 1077 次浏览 • 2020-03-31 19:06 • 来自相关话题


自 2008 年双 11 以来,在每年双 11 超大规模流量的冲击上,蚂蚁金服都会不断突破现有技术的极限。

2010 年双 11 的支付峰值为 2 万笔/分钟,到 2017 年双 11 时这个数字变为了 25.6 万笔/秒。

2018 年双 11 的支付峰...
查看更多

浓缩精华的架构演进过程,我连看了六遍

老马 发表了文章 • 0 个评论 • 1155 次浏览 • 2020-03-28 18:56 • 来自相关话题


【编者的话】业务驱动技术的发展是亘古不变的道理。最开始的时候,业务量少,业务复杂度低,采取的技术也相对简单,基本满足用户对功能的需求。随着 IT 信息化的普及,更多的交易放到了网络上,信息量增加和访问次数频繁就是要解决的问题了。因此,逐渐加入了缓存、集群等技术...
查看更多

微言Netty:分布式服务框架

玻璃樽 发表了文章 • 0 个评论 • 360 次浏览 • 2020-05-26 09:33 • 来自相关话题


【编者的话】几年前,我就一直想着要设计一款自己的实时通讯框架,于是出来了TinySocket,它是基于微软的SocketAsyncEventArgs来实现的,由于此类提供的功能很简洁,所以当时自己实现了缓冲区处理,粘包拆包等,彼时的.net平台还没有一款成熟的...
查看更多

如何优雅的实现分布式锁

老马 发表了文章 • 0 个评论 • 592 次浏览 • 2020-05-17 21:43 • 来自相关话题


概述

提到分布式锁大家都会想到如下两种:
  • 基于Redisson组件,使用redlock算法实现
  • 基于Apache Curator,利用Zookeeper的临时顺序节点模型实现


今天我们来说说第三种,使用 Spring Integr...
查看更多

深入云原生 AI:基于 Alluxio 数据缓存的大规模深度学习训练性能优化

阿里巴巴云原生 发表了文章 • 0 个评论 • 704 次浏览 • 2020-05-13 11:24 • 来自相关话题


作者 | 车漾(阿里云高级技术专家)、顾荣(南京大学 副研究员)

导读:Alluxio 项目诞生于 UC Berkeley AMP 实验室,自开源以来经过 7 年的不断开发迭代,支撑大数据处理场景的数据统一管理和高效缓存功能日趋成熟。然而,随着云原生...
查看更多

基于消息队列的分布式事务解决方案

aoxiang 发表了文章 • 0 个评论 • 854 次浏览 • 2020-05-11 21:05 • 来自相关话题


前两天发了工资,第一反应是想着要给远方的女朋友一点惊喜!于是打开了平安银行的APP给女朋友转点钱!填写上对方招商银行卡的卡号、开户名,一键转账!搞定!在我点击的那瞬间,就收到了app的账户变动的提醒,并且出现了图一所示的提示界面:“处理中,正在等待对方银行返回...
查看更多

分布式一致性与共识算法简介

大卫 发表了文章 • 0 个评论 • 866 次浏览 • 2020-05-09 19:21 • 来自相关话题


在介绍Raft算法之前,请考虑一下如果有机会,你会怎么设计一个分布式系统?注意,这里所说的分布式系统是几台服务器组成的一个对外服务的系统,比如分布式KV系统、分布式数据库系统等。

如果是单机系统,数据一般都在本地,基本不需要与外部通信,比如单机数据库系统...
查看更多

分布式系统中一致性哈希算法

大卫 发表了文章 • 1 个评论 • 792 次浏览 • 2020-04-14 12:06 • 来自相关话题


业务场景

近年来B2C、O2O等商业概念的提出和移动端的发展,使得分布式系统流行了起来。分布式系统相对于单系统,解决了流量大、系统高可用和高容错等问题。功能强大也意味着实现起来需要更多技术的支持。例如系统访问层的负载均衡,缓存层的多实例主从复制备份,数...
查看更多

分布式定时任务调度系统技术选型

老马 发表了文章 • 0 个评论 • 994 次浏览 • 2020-04-11 16:43 • 来自相关话题


什么是分布式定时任务

把分散的,可靠性差的计划任务纳入统一的平台,并实现集群管理调度和分布式部署的一种定时任务的管理方式,叫做分布式定时任务。

常见开源方案

Elastic-Job

Elastic-Job是由当当网基于Quartz二...
查看更多

如果要设计个分布式文件系统,该从哪些方面考虑?

玻璃樽 发表了文章 • 0 个评论 • 990 次浏览 • 2020-04-05 23:24 • 来自相关话题


【编者的话】分布式文件系统是分布式领域的一个基础应用,其中最著名的毫无疑问是HDFS/GFS。如今该领域已经趋向于成熟,但了解它的设计要点和思想,对我们将来面临类似场景/问题时,具有借鉴意义。并且,分布式文件系统并非只有HDFS/GFS这一种形态,在它之外,还...
查看更多

一个极简高效的秒杀系统(战略设计篇)

老马 发表了文章 • 0 个评论 • 1839 次浏览 • 2020-04-01 21:10 • 来自相关话题


2018年,楼主所在业务线开始发力探索线上O2O业务,但楼主所在公司并非纯电商公司,电商体系标配的商品中心、库存中心、活动系统都处于萌芽阶段不成气候。10月中旬,业务决定搞一波双十一大促提升品牌知名度。整个大促最核心功能点就是造一个秒杀系统,为整个活动会场积蓄...
查看更多

浅谈双十一背后的蚂蚁 LDC 架构和其 CAP 分析

大卫 发表了文章 • 0 个评论 • 1077 次浏览 • 2020-03-31 19:06 • 来自相关话题


自 2008 年双 11 以来,在每年双 11 超大规模流量的冲击上,蚂蚁金服都会不断突破现有技术的极限。

2010 年双 11 的支付峰值为 2 万笔/分钟,到 2017 年双 11 时这个数字变为了 25.6 万笔/秒。

2018 年双 11 的支付峰...
查看更多