分布式

分布式

如何系统性地学习分布式系统?

玻璃樽 发表了文章 • 0 个评论 • 145 次浏览 • 2020-09-22 20:22 • 来自相关话题


前言

学习一个知识之前,我觉得比较好的方式是先理解它的来龙去脉:即这个知识产生的过程,它解决了什么问题,它是怎么样解决的,还有它引入了哪些新的问题(没有银弹),这样我们才能比较好的抓到它的脉络和关键点,不会一开始就迷失在细节中。

所以,在学习分布式系统...
查看更多

Fluid: 让大数据和 AI 拥抱云原生的一块重要拼图

阿里巴巴云原生 发表了文章 • 0 个评论 • 583 次浏览 • 2020-09-08 15:28 • 来自相关话题


作者 | 顾荣、车漾、范斌

得益于容器化带来的高效部署、敏捷迭代,以及云计算在资源成本和弹性扩展方面的天然优势,以 Kubernetes 为代表的云原生编排框架吸引着越来越多的 AI 与大数据应用在其上部署和运行。然而,云原生计算基金会(CNCF)[全景图]...
查看更多

好慌,Redis这么多集群方案,要用哪种?

AI乔治 发表了文章 • 0 个评论 • 883 次浏览 • 2020-09-01 22:01 • 来自相关话题


redis速度快,可靠性高,是互联网公司的标配。它有单机、主从、哨兵、Cluster等四种部署模式。
下面,仅从部署模式上,来说明一下它们的优缺点。

单机模式

单机模式的redis非常简单,你只需要启动一个单一的节点就可以了,安装过程不超过5分...
查看更多

Dagster:一种数据编排器

dummy 发表了文章 • 2 个评论 • 1450 次浏览 • 2020-08-20 17:01 • 来自相关话题


随着机器学习、数据分析和数据处理对企业变得越来越复杂和越来越重要,改进其背后的软件变得更加迫切。

企业内的数据是无序的,不受信的。工程师和从业者因此深感效率低下,深陷苦差事之中。数据科学家、数据工程师、分析师和其他构建复杂数据系统的角色之间的协作是痛苦的。处...
查看更多

分布式ID生成策略,我和面试官扯了一个半小时

大卫 发表了文章 • 0 个评论 • 1157 次浏览 • 2020-07-20 12:32 • 来自相关话题


前言

面试官:小伙子,你还记得我吗?我是上次面试你的那个面试官。

我心想:我去,怎么会不记得,我又不是青年痴呆,上次害我画了那么多图,还使劲敲了一个多钟的电脑,满脑子都是你的阴影。

我:记得记得,您好,很高兴能通过二面,能够继续和您交流技术...
查看更多

忘掉 Snowflake,感受一下性能高出 587 倍的全局唯一 ID 生成算法

老马 发表了文章 • 0 个评论 • 1254 次浏览 • 2020-07-19 11:31 • 来自相关话题


今天我们来拆解 Snowflake 算法,同时领略百度、美团、腾讯等大厂在全局唯一 ID 服务方面做的设计,接着根据具体需求设计一款全新的全局唯一 ID 生成算法。这还不够,我们会讨论到全局唯一 ID 服务的分布式 CAP 选择与性能瓶颈。

已经熟悉 Sno...
查看更多

浅谈微服务体系中的分层设计和领域划分

玻璃樽 发表了文章 • 0 个评论 • 1915 次浏览 • 2020-07-11 20:54 • 来自相关话题


引言

看标题感觉这个东西很理论,比起“高并发、多线程”、“分布式CAP、一致性、Paxos”、“高可用SLA”等具体的干货技术点,软件体系知识显得很“湿”,似乎人人都有自己的认识,但又很少有人能说完整,有一点可以确定的是,如果你未来需要独立设计一个复杂的...
查看更多

Sentinel Go 0.4.0 发布,支持热点流量防护能力

阿里巴巴云原生 发表了文章 • 0 个评论 • 804 次浏览 • 2020-07-06 13:14 • 来自相关话题


Sentinel 是阿里巴巴开源的,面向分布式服务架构的流量控制组件,主要以流量为切入点,从限流、流量整形、熔断降级、系统自适应保护等多个维度来帮助开发者保障微服务的稳定性。Sent...
查看更多

谈谈对分布式事务的一点理解和解决方案

大卫 发表了文章 • 0 个评论 • 1567 次浏览 • 2020-06-17 12:58 • 来自相关话题


【编者的话】最近,工作中要为现在的老系统做拆分和升级,刚好遇到了分布式事务、幂等控制、异步消息乱序和补偿方案等问题,于是基于实践结合个人的看法记录一下方案和思路。

分布式事务

首先,做系统拆分的时候几乎都会遇到分布式事务的问题,一个仿真的案例如下:
...
查看更多

微言Netty:分布式服务框架

玻璃樽 发表了文章 • 0 个评论 • 1371 次浏览 • 2020-05-26 09:33 • 来自相关话题


【编者的话】几年前,我就一直想着要设计一款自己的实时通讯框架,于是出来了TinySocket,它是基于微软的SocketAsyncEventArgs来实现的,由于此类提供的功能很简洁,所以当时自己实现了缓冲区处理,粘包拆包等,彼时的.net平台还没有一款成熟的...
查看更多

如何系统性地学习分布式系统?

玻璃樽 发表了文章 • 0 个评论 • 145 次浏览 • 2020-09-22 20:22 • 来自相关话题


前言

学习一个知识之前,我觉得比较好的方式是先理解它的来龙去脉:即这个知识产生的过程,它解决了什么问题,它是怎么样解决的,还有它引入了哪些新的问题(没有银弹),这样我们才能比较好的抓到它的脉络和关键点,不会一开始就迷失在细节中。

所以,在学习分布式系统...
查看更多

Dagster:一种数据编排器

dummy 发表了文章 • 2 个评论 • 1450 次浏览 • 2020-08-20 17:01 • 来自相关话题


随着机器学习、数据分析和数据处理对企业变得越来越复杂和越来越重要,改进其背后的软件变得更加迫切。

企业内的数据是无序的,不受信的。工程师和从业者因此深感效率低下,深陷苦差事之中。数据科学家、数据工程师、分析师和其他构建复杂数据系统的角色之间的协作是痛苦的。处...
查看更多

分布式ID生成策略,我和面试官扯了一个半小时

大卫 发表了文章 • 0 个评论 • 1157 次浏览 • 2020-07-20 12:32 • 来自相关话题


前言

面试官:小伙子,你还记得我吗?我是上次面试你的那个面试官。

我心想:我去,怎么会不记得,我又不是青年痴呆,上次害我画了那么多图,还使劲敲了一个多钟的电脑,满脑子都是你的阴影。

我:记得记得,您好,很高兴能通过二面,能够继续和您交流技术...
查看更多

忘掉 Snowflake,感受一下性能高出 587 倍的全局唯一 ID 生成算法

老马 发表了文章 • 0 个评论 • 1254 次浏览 • 2020-07-19 11:31 • 来自相关话题


今天我们来拆解 Snowflake 算法,同时领略百度、美团、腾讯等大厂在全局唯一 ID 服务方面做的设计,接着根据具体需求设计一款全新的全局唯一 ID 生成算法。这还不够,我们会讨论到全局唯一 ID 服务的分布式 CAP 选择与性能瓶颈。

已经熟悉 Sno...
查看更多

浅谈微服务体系中的分层设计和领域划分

玻璃樽 发表了文章 • 0 个评论 • 1915 次浏览 • 2020-07-11 20:54 • 来自相关话题


引言

看标题感觉这个东西很理论,比起“高并发、多线程”、“分布式CAP、一致性、Paxos”、“高可用SLA”等具体的干货技术点,软件体系知识显得很“湿”,似乎人人都有自己的认识,但又很少有人能说完整,有一点可以确定的是,如果你未来需要独立设计一个复杂的...
查看更多

谈谈对分布式事务的一点理解和解决方案

大卫 发表了文章 • 0 个评论 • 1567 次浏览 • 2020-06-17 12:58 • 来自相关话题


【编者的话】最近,工作中要为现在的老系统做拆分和升级,刚好遇到了分布式事务、幂等控制、异步消息乱序和补偿方案等问题,于是基于实践结合个人的看法记录一下方案和思路。

分布式事务

首先,做系统拆分的时候几乎都会遇到分布式事务的问题,一个仿真的案例如下:
...
查看更多

微言Netty:分布式服务框架

玻璃樽 发表了文章 • 0 个评论 • 1371 次浏览 • 2020-05-26 09:33 • 来自相关话题


【编者的话】几年前,我就一直想着要设计一款自己的实时通讯框架,于是出来了TinySocket,它是基于微软的SocketAsyncEventArgs来实现的,由于此类提供的功能很简洁,所以当时自己实现了缓冲区处理,粘包拆包等,彼时的.net平台还没有一款成熟的...
查看更多

如何优雅的实现分布式锁

老马 发表了文章 • 0 个评论 • 1618 次浏览 • 2020-05-17 21:43 • 来自相关话题


概述

提到分布式锁大家都会想到如下两种:
  • 基于Redisson组件,使用redlock算法实现
  • 基于Apache Curator,利用Zookeeper的临时顺序节点模型实现


今天我们来说说第三种,使用 Spring Integr...
查看更多

基于消息队列的分布式事务解决方案

aoxiang 发表了文章 • 0 个评论 • 1818 次浏览 • 2020-05-11 21:05 • 来自相关话题


前两天发了工资,第一反应是想着要给远方的女朋友一点惊喜!于是打开了平安银行的APP给女朋友转点钱!填写上对方招商银行卡的卡号、开户名,一键转账!搞定!在我点击的那瞬间,就收到了app的账户变动的提醒,并且出现了图一所示的提示界面:“处理中,正在等待对方银行返回...
查看更多

分布式一致性与共识算法简介

大卫 发表了文章 • 0 个评论 • 1734 次浏览 • 2020-05-09 19:21 • 来自相关话题


在介绍Raft算法之前,请考虑一下如果有机会,你会怎么设计一个分布式系统?注意,这里所说的分布式系统是几台服务器组成的一个对外服务的系统,比如分布式KV系统、分布式数据库系统等。

如果是单机系统,数据一般都在本地,基本不需要与外部通信,比如单机数据库系统...
查看更多

如何系统性地学习分布式系统?

玻璃樽 发表了文章 • 0 个评论 • 145 次浏览 • 2020-09-22 20:22 • 来自相关话题


前言

学习一个知识之前,我觉得比较好的方式是先理解它的来龙去脉:即这个知识产生的过程,它解决了什么问题,它是怎么样解决的,还有它引入了哪些新的问题(没有银弹),这样我们才能比较好的抓到它的脉络和关键点,不会一开始就迷失在细节中。

所以,在学习分布式系统...
查看更多

Fluid: 让大数据和 AI 拥抱云原生的一块重要拼图

阿里巴巴云原生 发表了文章 • 0 个评论 • 583 次浏览 • 2020-09-08 15:28 • 来自相关话题


作者 | 顾荣、车漾、范斌

得益于容器化带来的高效部署、敏捷迭代,以及云计算在资源成本和弹性扩展方面的天然优势,以 Kubernetes 为代表的云原生编排框架吸引着越来越多的 AI 与大数据应用在其上部署和运行。然而,云原生计算基金会(CNCF)[全景图]...
查看更多

好慌,Redis这么多集群方案,要用哪种?

AI乔治 发表了文章 • 0 个评论 • 883 次浏览 • 2020-09-01 22:01 • 来自相关话题


redis速度快,可靠性高,是互联网公司的标配。它有单机、主从、哨兵、Cluster等四种部署模式。
下面,仅从部署模式上,来说明一下它们的优缺点。

单机模式

单机模式的redis非常简单,你只需要启动一个单一的节点就可以了,安装过程不超过5分...
查看更多

Dagster:一种数据编排器

dummy 发表了文章 • 2 个评论 • 1450 次浏览 • 2020-08-20 17:01 • 来自相关话题


随着机器学习、数据分析和数据处理对企业变得越来越复杂和越来越重要,改进其背后的软件变得更加迫切。

企业内的数据是无序的,不受信的。工程师和从业者因此深感效率低下,深陷苦差事之中。数据科学家、数据工程师、分析师和其他构建复杂数据系统的角色之间的协作是痛苦的。处...
查看更多

分布式ID生成策略,我和面试官扯了一个半小时

大卫 发表了文章 • 0 个评论 • 1157 次浏览 • 2020-07-20 12:32 • 来自相关话题


前言

面试官:小伙子,你还记得我吗?我是上次面试你的那个面试官。

我心想:我去,怎么会不记得,我又不是青年痴呆,上次害我画了那么多图,还使劲敲了一个多钟的电脑,满脑子都是你的阴影。

我:记得记得,您好,很高兴能通过二面,能够继续和您交流技术...
查看更多

忘掉 Snowflake,感受一下性能高出 587 倍的全局唯一 ID 生成算法

老马 发表了文章 • 0 个评论 • 1254 次浏览 • 2020-07-19 11:31 • 来自相关话题


今天我们来拆解 Snowflake 算法,同时领略百度、美团、腾讯等大厂在全局唯一 ID 服务方面做的设计,接着根据具体需求设计一款全新的全局唯一 ID 生成算法。这还不够,我们会讨论到全局唯一 ID 服务的分布式 CAP 选择与性能瓶颈。

已经熟悉 Sno...
查看更多

浅谈微服务体系中的分层设计和领域划分

玻璃樽 发表了文章 • 0 个评论 • 1915 次浏览 • 2020-07-11 20:54 • 来自相关话题


引言

看标题感觉这个东西很理论,比起“高并发、多线程”、“分布式CAP、一致性、Paxos”、“高可用SLA”等具体的干货技术点,软件体系知识显得很“湿”,似乎人人都有自己的认识,但又很少有人能说完整,有一点可以确定的是,如果你未来需要独立设计一个复杂的...
查看更多

Sentinel Go 0.4.0 发布,支持热点流量防护能力

阿里巴巴云原生 发表了文章 • 0 个评论 • 804 次浏览 • 2020-07-06 13:14 • 来自相关话题


Sentinel 是阿里巴巴开源的,面向分布式服务架构的流量控制组件,主要以流量为切入点,从限流、流量整形、熔断降级、系统自适应保护等多个维度来帮助开发者保障微服务的稳定性。Sent...
查看更多

谈谈对分布式事务的一点理解和解决方案

大卫 发表了文章 • 0 个评论 • 1567 次浏览 • 2020-06-17 12:58 • 来自相关话题


【编者的话】最近,工作中要为现在的老系统做拆分和升级,刚好遇到了分布式事务、幂等控制、异步消息乱序和补偿方案等问题,于是基于实践结合个人的看法记录一下方案和思路。

分布式事务

首先,做系统拆分的时候几乎都会遇到分布式事务的问题,一个仿真的案例如下:
...
查看更多

微言Netty:分布式服务框架

玻璃樽 发表了文章 • 0 个评论 • 1371 次浏览 • 2020-05-26 09:33 • 来自相关话题


【编者的话】几年前,我就一直想着要设计一款自己的实时通讯框架,于是出来了TinySocket,它是基于微软的SocketAsyncEventArgs来实现的,由于此类提供的功能很简洁,所以当时自己实现了缓冲区处理,粘包拆包等,彼时的.net平台还没有一款成熟的...
查看更多