热门资讯

Yandex开源大数据存储和处理平台YTsaurus

业界来源：OSCHINA 2023-03-26 19:07:00

因为众所周知的原因，俄罗斯开发者在开源领域遭到了各种 “不公正” 的对待。但即便如此，俄罗斯大型科技公司 Yandex 近日依然在 GitHub 上开源了一个项目，该项目名为 YTsaurus，这是一个用于存储和处理大数据的平台，大多数 Yandex 服务均在使用。

Yandex 分布式计算的负责人 Maxim Babenko 表示：

Yandex 自 2010 年以来一直在开发 YTsaurus（在内部称之为 YT）。因为市场上没有一个解决方案可以满足我们所有的要求，我们决定开始建立自己的大数据生态。现在 YTsaurus 是 Yandex 内部基础设施的关键技术之一。

根据官方说法，YTsaurus 适用于广泛的任务，从数据分析到训练具有数十亿参数的复杂模型。例如：Yandex Search 用它建立搜索索引、自动驾驶汽车用它来处理海量数据和改进算法、YTsaurus 还管理着 Yandex 的超级计算机，分配负载，使计算能力得到尽可能有效的利用。

YTsaurus 具有的平台优势包括：

多租户生态

可靠性和稳定性

可扩展性

丰富的功能

由 ClickHouse 提供支持的 CHYT

由 Apache Spark 提供支持的 SPYT

Yandex Cloud 的负责人 Alexey Bashkeev 则表示：

YTsaurus 已经在 Yandex 内部证明了自己，现在我们把它提供给所有开发者。在数以千计的服务器上处理大量数据，并且负载不断增加的大公司将获得最大收益。我们相信将 YTsaurus 开源可以使其进入一个新的发展阶段，正如我们的其他产品那样。

YTsaurus 的源代码和文档都可以在 GitHub 上找到，该项目采用的是 Apache 2.0 许可。项目地址如下：链接。