微信扫雷软件有用没

- 网页版红包扫雷 - 包包乐App
首页 / a9aOxy / 正文

如果你想用自己开发的框架取代Hadoop,明星科技提供新一代基础软件平台可行吗?||ToB独角兽

2019-11-22 a9aOxy 1177 ℃ 0 评论

原标题:想用自主研究框架取代Hadoop,明星科技提供新一代基础软件平台可行吗?| | tobunicorn

文|斗月一

随着2019年的临近,创始人孙元浩简要总结了2019年迄今取得的成就。

“首先,在产品线方面,星环科技自2017年以来基本确定了三条产品线。大数据产品是主要产品线,而人工智能机器学习平台和集装箱智能大数据云平台是围绕客户对人工智能建模、集装箱布局等需求延伸的产品线。基于他们使用大数据基础软件的基本需求。

同时,大数据产品线坚持自主研发,技术不断更新和迭代,应用范围越来越广。它已经成功地取代了国外制造商,如Teradata或Cloudera和IBM,一些典型的客户案例已经登陆。

其次,随着产品更新,星环科技的客户群也在扩大,覆盖金融、政府、能源、交通、教育、制造、运营商和媒体等20多个行业。其中,财政部、国家邮政局、国家商标局、中国人民银行、国泰君安、招商证券、中国邮政、中石油和广州供电局是星环的基准客户。

总的来说,我们在2019年的技术产品上取得了重大突破,这将整个公司的发展带到了一个新的里程碑阶段。我们将继续致力于品牌推广和市场份额。"

Starring Technology成立于2013年,总部位于上海,定位为提供大数据和人工智能的技术平台。创始人孙元浩曾担任英特尔亚太研发有限公司数据中心软件部门首席技术官,他于2009年带领团队研究Hadoop,并于2011年发布了英特尔Hadoop发行版。随着大数据概念的兴起,越来越多的人知道Hadoop,一种专门处理大数据的软件。

2013年,孙元浩带领创始团队成立了明星科技。

值得一提的是,2019年10月,明星科技完成了对D2回合的融资,仅比D1回合融资晚了半年多。与此同时,星环科技也被数字手表(Digital Watch)发布的“工业互联网产业独角兽”名单中选为IDark Horse &硬独角兽。

展开全文

大数据进入3.0周期

是人工智能、大数据和云计算的集成阶段

我们知道,自从计算机诞生以来,信息技术已经对人类生活的各个方面产生了微妙的影响。特别是,在过去十年左右,大数据、人工智能和云计算等技术得到了蓬勃发展,使得人们的生活方式每隔几年就会发生巨大变化。

此时,企业每天生成的数据量呈爆炸式增长。面对海量数据,传统数据库的信息技术架构和处理技术已经逐渐不能满足海量数据处理的需求。按照传统方式,数据量的存储和处理将消耗大量的时间和硬件成本。

孙元浩认为,目前,大数据已经进入3.0时代。随着技术的不断延伸和发展,大数据、人工智能和云计算之间的界限越来越模糊,三种技术不断相互影响和融合。

“我们的意思是大数据3.0是从技术角度进行分类的。大数据技术可以分为三代。明星科技成立之初,处于大数据1.0阶段。大多数公司使用开源软件和应用编程接口来开发程序。问题是产品有限,只有大公司才有能力处理大数据。

大数据2.0时代是百花齐放的时代。越来越多的玩家参与技术竞赛,许多全新的技术诞生了,这些技术可以解决更多商业场景中的实际问题。

自2017年以来,结构化数据的处理问题已经基本解决,人们开始关注非结构化数据处理,尤其是图像、视频、语音和文本处理。

在此期间,人们将在非结构化数据领域表现突出的深度学习技术与大数据技术相结合,大数据技术开始进入3.0时代。"

孙元浩告诉iDark Horse-Digital Observation,大数据3.0时代的技术应该首先有四个统一:第一,统一集成的数据平台应该取代混合架构。

当前的企业数据服务架构通常需要包括不同的数据服务系统,如数据湖、数据仓库、数据集市、综合搜索等。许多企业采用复杂的混合架构,不仅产生巨大的数据冗余,而且严重限制了数据应用的及时性。

新的大数据平台需要能够一站式满足所有需求,解决大数据的4v需求,应对从快速响应到大规模分析的所有级别的需求,并消除混合架构模型。

第二,统一的开放接口。据了解,作为一种经过历史测试的结构化查询语言,SQL拥有庞大的用户群和灵活性。开发人员可以在不了解架构细节的情况下高效地开发应用程序。然而,在过去,应用程序接口开发方法存在应用程序兼容性差和开发难度大的问题。

新一代大数据平台需要使用SQL来支持所有功能,包括数据仓库、OLTP数据库、搜索引擎、实时计算、时空数据库等。,以降低开发人员的门槛,加快产品开发和在线。

第三,统一管理和部署。云计算的灵活性和无处不在的访问可以让更多的数据服务和开发人员使用大数据技术,因此新的大数据技术需要能够提供云功能。

在硬件层面,大数据平台以统一的方式管理和分配中央处理器、图形处理器、网络、存储和其他资源。基于容器技术,实现了大数据应用在云上的统一部署。平台租户按需申请大数据技术和产品。

此外,云计算可以大大降低运营和维护成本,使得单个团队可以同时运行大量大数据系统软件。

第四,统一的数据仓库和数据资产管理。数据商业化是大数据技术的终极价值体现。在新的建筑设计中,星环技术也将这一元素作为一个重要的设计考虑因素。

在数据层面,平台上的所有数据以统一的方式存储,建立统一的数据仓库和数据资产目录,然后根据应用场景将数据传输到不同的数据集市。每个业务部门根据需要调用数据,从而打开数据孤岛,提高数据质量并转换数据价值。

在模型级别,通过建立模型市场,租户可以选择一个密钥将经过培训的模型发布到模型市场,其他租户可以直接调用它,而无需重复培训。

在应用层,平台中的用户可以将经过验证的应用发布到企业应用市场,并与其他用户共享。所有正在运行的应用程序都是统一管理的。

其次,大数据3.0技术的本质是融合。随着时间和商业的不断发展,人们提出了新的要求。能否在云平台上部署大数据分布式架构,更好地实现数据共享,解决数据孤岛和烟囱开发问题。

因此,在大数据3.0时代,大数据技术、人工智能技术和云计算技术开始融合到一个平台上,以满足不同层次企业客户的大数据需求。

总之,大数据技术解决了计算能力和训练数据量的深入研究问题,并开始产生巨大的生产价值。同时,大数据技术通过传统机器学习算法的分布式实现扩展到人工智能领域。

此外,随着数据在一个平台上的不断融合,大数据和人工智能的基本公共能力通过集成人工智能、大数据和云计算的容器技术建立在容器云平台上。

“随着大数据3.0的出现,一个新的大数据基础架构已经开始出现。应该实现上述四个统一:统一的编程语言或操作语言、统一的计算引擎、统一的存储管理系统、统一的资源调度系统以及不同的,即不同的数据模型。

一般来说,在大数据的3.0阶段,统一和集成是主要的主题。"

围绕上述思路,在大数据3.0时代,产业趋势将发生变化,星环科技的商业模式也将发生变化。

根据孙元浩的介绍,主演科技的具体方法是:

首先,应该建立一个统一的数据平台,以整合大数据技术和人工智能技术。它还可以依靠智能方法来整理数据并确保数据质量。

星环科技(Star Ring Technology)2018年发布的新一代智能大数据云平台TDC,实现了大数据、人工智能和云计算的融合趋势,推动了服务集装箱化和大数据生态云。

第二,建立模式生态学和应用生态学。Starring Technology认为,形成生态需要一个标准界面。Starring Technology的大数据平台提供了SQL、R和Python,因此用户和生态合作伙伴可以大大降低开发成本,而不必担心在底层使用哪个引擎。

第三,开发平台是通过基于云的PaaS层提供的,因此用户不需要关注底层细节,也不需要在任何地方提供服务。

过去,当客户需要使用大数据服务时,他们必须先建立一个项目,然后与制造商一起完成整个过程。最初的采购成本很高,他们需要建立一个团队,并经常使用烟囱开发。

明星科技希望这项服务能够立即投入使用。无论是做数据、提供数据、分析数据还是开发模型,人们都能找到他们期望的工作平台和工作方法。

那么,如何为环科学技术形成这样的四个统一和一个差异呢?

自我研究框架取代哈多普·

希望加快基础软件的本地化,而不是

IDark Horse-Digital Observation了解到,从2013年成立至今的过去六年中,领星科技经历了三个主要的发展阶段。

如上所述,最初,Starring Technology的产品主要是基于Hadoop和Spark实现的。Starring Technology专注于大数据数据库,旨在让更多客户享受大数据功能。

“从2013年到2014年,Starring Technology仍然基于开源技术,处于产品开发的探索阶段。当时,它仍在提供基于纯大数据的分析数据库产品。”

到2014年,卫星环技术已经进入第二阶段。然而,随着明星科技产品和业务的不断发展,Hadoop的技术和商业局限性逐渐变得明显。

Starring Technology的业务希望继续围绕基本软件层向上发展。Hadoop是底层,还有很多工作要做。开源软件不能很好地完成这一部分,尤其是对于企业服务市场。

然而,Hadoop起源于互联网公司,具有很多优势:数据处理量大、支持非结构化数据、海量存储、成本低。

对于服务企业市场来说,开源软件在应用上有很多不足。例如,该银行的数据分析有30多个模块,所有这些模块都基于甲骨文或IBM的数据库,可能涉及数十万行代码。将这些模块变成适合Hadoop接口的程序是不现实的。

此外,开源Hadoop一开始没有图形界面。这一切都是在命令行上操作的。

所有这些都限制了Hadoop在企业市场的发展,但企业客户对该软件的未来持乐观态度。

另一方面,孙元浩指出,Hadoop作为基本框架,需要结合硬件情况进行设计。Hadoop是基于15年前的技术环境而设计的,这是一个低速硬盘和低速网络时代。

今天的硬件技术环境已经发生了根本性的变化。该网络以10万亿的速度流行,存储每秒可以进行数百万次操作。当时,该架构完全跟不上硬件的发展。

其次,从企业应用需求的角度来看,Hadoop软件是模仿谷歌系统构建的,其最初目标是用于互联网公司的日志处理和营销推广。

当Hadoop技术应用于各行各业时,发现它在功能缺乏、一致性和可靠性、高性能并发性等问题上的局限性无法突破,甚至一些分析机构都说Hadoop技术已经死了。

“例如,在过去,当我们的企业进行交互式分析时,1tb的数据就足够了,特别是在美国,那里100G的数据足以支持企业的交互式分析需求,这也促使美国的基础软件服务提供商没有能力开发高度可伸缩的引擎。

然而,中国的情况不同。随着移动性、大数据、云计算、物联网和人工智能的发展,以及多种技术浪潮的叠加,中国企业的数据量呈现爆炸式增长。例如,在运营商或金融行业,最终客户都是客户群庞大、数据量大、每次都有数百TB的客户。传统的Hadoop技术根本无法支持它,传统的大数据引擎产品也无法满足客户的需求。

它不仅存在并发承载、资源隔离、资源调度等问题,而且传统Hadoop也存在很大问题。

在这种环境下,如果我们想生存下来并满足客户的需求,我们必须拥有独特的技能。像我们这样的初创公司没有背景,无事可做,可以为技术而战。因此,我们将在2015年开始开发封闭源码基础设施。"

依托星环科技,创始团队技术基因雄厚,擅长研发,在框架设计和开发方面有丰富的经验。经过仔细考虑,它选择了与Hadoop框架完全分离。从2015年开始,星环科技团队开始重新设计和开发自己的大数据处理框架。目的是取代以前传统的基础框架。

据报道,领星科技(Signing Technology)重建了一个五层架构,该架构与原架构分离,更容易实现技术突破。例如,在分析数据库方面,领星科技已经远远超过了国外大数据制造商和传统数据库制造商。

在某些数据技术上,卫星环技术可以集成批处理和事件驱动流处理,实现其他技术难以实现的突破。

到2017年,明星科技不仅将彻底改造引擎和资源调度器,还将分离人工智能产品。

“如果前几年仍处于产品形式探索阶段,那么这两年基本上决定了我们的产品方向,然后专注于开发我们自己的技术框架。

同时,2014年之后也是我们的商业探索阶段,已经打磨了一些基准客户。2015年将是明星科技拓展市场的真正商业登陆阶段。

“从2017年到现在,是星环科技大规模成长的阶段,开始投资于市场推广和销售。”

在谈到开发从开源到封闭的独立框架的困难和挑战时,孙元浩表示,“此前,明星科技必须坚持自己的技术路线,需要与Hadoop的技术路线兼容。许多企业客户看到我们没有使用Hadoop技术时,不敢使用Hadoop技术,所以我们需要花费大量的时间和精力来研究产品的兼容性。

其次,即使许多客户想使用我们自己开发的产品,他们也不敢轻易完全取代Hadoop。它需要长期的测试和验证,类似的产品需要反复比较。因此,我们都开始替换简单的基本应用程序部分,让客户慢慢接受。然后我们开始在更多的应用程序中替换它。"

涵盖了ABC的三个主要领域

为龙头企业提供一站式基础软件平台

经过多年的发展,星环技术已经实现了人工智能、大数据和云计算的集成。充分发挥大数据平台多年积累和技术优势,推进人工智能平台建设,推出新一代智能大数据云平台。

首先,星环科技打造的一站式大数据平台Transwarp数据中心(TDH)是一站式企业级大数据平台,也是核心产品。

据悉,TDH主要提供五种核心产品:分析数据库(Transwarp Inceptor和Transwarp ArgoDB)、实时流计算引擎(Transwarp Slipstream)、知识库(Transwarp Search和Transwarp StellarDB)、操作数据库(Transwarp Hyperbase)和数据科学平台(Transwarp Discover)。

通过部署、安装和使用TDH,企业可以更有效地利用数据构建核心业务系统,加快业务创新。

其次,星环技术还分离了机器学习的建模平台,形成了独立的产品线transorpsophone。对应于该平台有四个不同的引擎,包括统计、机器学习、深度学习和图形分析引擎,在这些引擎上提供交互式建模工具。

第三,在原有产品的基础上,星星科技(Starring Technology)的所有产品都部署在容器中。通过统一应用、数据和模型,信息技术可以提供信息技术所需的基础设施、中间件和平台即服务(PaaS)平台,包括应用托管。

因此,在产品布局方面,明星科技的三条产品线涵盖了中航的三大领域。它能够满足不同层次大数据的需求,解决了深入学习计算能力和训练数据量的问题,并开始产生巨大的生产价值。

同时,大数据技术通过传统机器学习算法的分布式实现扩展到人工智能领域。此外,随着数据在一个平台上的不断融合,大数据和人工智能的基本公共能力通过集成人工智能、大数据和云计算的容器技术建立在容器云平台上。

目前,领星的产品覆盖20多个行业,包括金融、政府、能源、交通、制造和教育。客户数量也在快速增长,细分市场的市场份额超过70%。

对于明星科技转向Hadoop,它已经开发了自己的技术框架。IDark Horse-Digital Observation还询问了许多技术投资者和相关技术专家。许多人以怀疑的态度看待这件事。一些人质疑这是否可能,但是如何建立生态?

事实上,星环科技早已开始生态建设。今年,星环科技提出坚持“平台+生态”的大规模发展战略,构建“数据驱动”的大生态。

此次融资后,还将增加生态投资,推动更多行业深入利用大数据、人工智能和云计算技术,努力推进与生态伙伴合作的深度和广度,构建全新的生态系统。

“如果一个公司想要独立发展并能够维持其长期存在,它就不能建立在他人的成就之上。它必须自己创造新的东西。

未来的技术领导者总是面临许多疑问,但时间会证明这一点。我也坚信,明星科技将成为世界级的伟大基础软件公司,我们一直在为此奋斗。”孙元浩回答了外部问题。回到搜狐看更多

负责任的编辑:

请在这里放置你的在线分享代码

猜你喜欢

额 本文暂时没人评论 来添加一个吧

发表评论