阿里正式开源通用算法平台Alink,双

擅长白癜风研究专家 https://m-mip.39.net/czk/mipso_4174796.html

整理

若名

近日,阿里云计算部门已在GitHub上发布了其Alink平台的“核心代码”,并上传了一系列算法库,它们支持批处理和流处理,这对支持机器学习任务至关重要。

Alink是基于Flink的通用算法平台,由阿里巴巴计算平台PAI团队研发。除了支持阿里自己的平台外,还支持Kafka,HDFS和HBase等一系列开源数据存储平台。

阿里云计算和机器智能部门表示,开发者和数据分析师可以利用开源代码来构建软件功能,例如统计分析、机器学习、实时预测、个性化推荐和异常检测。而Alink提供的一系列算法,可以帮助处理机器学习任务,例如AI驱动的客户服务和产品推荐。

开源算法列表

阿里巴巴集团副总裁、阿里云智能计算平台事业部总裁、高级研究员贾扬清指出,对于寻求大数据和机器学习工具的开发人员而言,Alink将是一个新的选择。

在他看来,作为中国企业是GitHub上十大贡献者之一,阿里致力于在软件开发周期中尽早与开源社区建立联系。而在GitHub上开源Alink遵循了这一承诺。

阿里目前已将Alink部署到其旗下电子商务平台天猫上。今年“双11”期间,单日数据处理量达到PB,每秒处理峰值数据高达25亿条,Alink帮助天猫产品推荐的点击率提高了4%。

迄今为止,阿里的开发人员在过去八年中为整个开源社区贡献了多个项目,包括云基础架构、机器学习、数据库和网络。阿里巴巴的开放源代码计划包括基于MySQL的AliSQL,容器工具Pouch和JStorm(基于Java的ApacheStorm版本)。

关于Alink的使用问题

Q:能否连接远程Flink集群进行计算?

A:通过方法可以连接一个已经启动的Flink集群:

useRemoteEnv(host,port,parallelism,flinkHome=None,localIp=localhost,shipAlinkAlgoJar=True,config=None)

。其中,参数

host和port表示集群的地址;parallelism表示执行作业的并行度;flinkHome为flink的完整路径,默认使用PyAlink自带的flink-1.9.0路径;localIp指定实现FlinkDataStream的打印预览功能时所需的本机IP地址,需要Flink集群能访问。默认为localhost。shipAlinkAlgoJar是否将PyAlink提供的Alink算法包传输给远程集群,如果远程集群已经放置了Alink算法包,那么这里可以设为False,减少数据传输。Q:如何停止长时间运行的Flink作业?

A:使用本地执行环境时,使用Notebook提供的“停止”按钮即可。使用远程集群时,需要使用集群提供的停止作业功能。

Q:能否直接使用Python脚本而不是Notebook运行?

A:可以。但需要在代码最后调用resetEnv,否则脚本不会退出。

使用步骤

使用前准备:

确保使用环境中有Python3,版本=3.5;需要根据Python版本下载对应的pyalink包(下载链接参见GitHub);使用easy_install进行安装easy_install[存放的路径]/pyalink-0.0.1-py3.*.egg。需要注意的是:如果之前安装过pyalink,请先使用pipuninstallpyalink卸载之前的版本。如果有多个版本的Python,可能需要使用特定版本的easy_install,比如easy_install-3.7。如果使用Anaconda,则需要在Anaconda命令行中进行安装。

开始使用:

阿里推荐通过JupyterNotebook来使用PyAlink,能获得更好的使用体验。

pyAlink

使用步骤:

在命令行中启动Jupyter:jupyternotebook,并新建Python3的Notebook。导入pyalink包:frompyalink.alinkimport*。使用方法创建本地运行环境:useLocalEnv(parallism,flinkHome=None,config=None)。其中,参数parallism表示执行所使用的并行度;flinkHome为flink的完整路径,默认使用PyAlink自带的flink-1.9.0路径;config为Flink所接受的配置参数。运行后出现如下所示的输出,表示初始化运行环境成功:JVMlisteningon***Pythonlisteningon***4.开始编写PyAlink代码,例如:

source=CsvSourceBatchOp\.setSchemaStr(sepal_lengthdouble,sepal_widthdouble,petal_lengthdouble,petal_widthdouble,categorystring)\.setFilePath(


转载请注明:http://www.xcqg58.com/jyqj/jyqj/26846513.html

  • 上一篇文章:
  •   
  • 下一篇文章: 没有了