阅读次数:人次

大数据关键技术在物流企业的应用

摘要:物流企业在开展物流业务时会产生大量的数据,这些数据若能被有效利用,将为物流企业提效增值。物流企业越来越重视大数据所带来的商业价值,并被物流企业视为战略性资源。文章分析物流企业应用大数据技术的价值,列举了物流企业常用的大数据关键技术。

关键词:大数据;大数据技术;物流

互联网技术出现之前,物流企业主要使用一些单机版的应用软件来处理业务,这种应用系统都比较孤立,所产生的数据主要是在人机交互时产生的,大多是物流业务数据,这些数据大多是结构化的,并且增长速度缓慢。互联网技术出现后迅猛发展,尤其是移动互联网技术的发展,由此步入了大数据时代,物流数据的容量上发生了变化,数据来源也发生了质的变化,除了人机交互会产生数据,设备、服务器、应用系统都会产生数据,这些数据包括了用户行为数据、定位数据、图片、视频等等,它们呈现几何级增长,并以非结构、半结构化为主,这给数据处理技术带来了挑战。

1大数据与大数据技术

大数据也称为海量数据,具有数据容量巨大,数据类型复杂,价值密度低等特性。大数据技术是依托云计算、云存储和虚拟化等技术,从海量的、种类繁杂的数据当中,采用分布式计算架构,让用户在最短时间内获取有用的信息技术。大数据技术是对各类数据进行整理、分析、比对,对数据进行深度挖掘,这包括了提取非结构化数据的特征,检索、理解半结构化数据的内容等。大数据技术现已成为信息时代的一大新兴产业,并引起了社会各界的高度关注,成为大数据采集、存储、处理和呈现的有力工具,主要运用在大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用(大数据可视化、大数据检索、大数据安全等)等方面[1]。

2物流企业应用大数据技术的价值分析

物流各个环节,如运输、仓储、装卸、搬运、包装及流通加工等,会产生大量的数据。物流大数据,是指物流活动过程中,开展如供给、需求等物流服务时产生的各种相关数据,而这些数据是海量的、无序的。如今,物流企业越来越重视大数据所带来的商业价值,并被物流企业视为战略性资源。物流大数据本身不存在价值,但通过对物流大数据分析并应用,就能体现出其价值所在。掌握大数据,挖掘大数据,应用大数据技术,能够产生大量的商业价值,这一观点已经被整个物流行业所认同。2.1有利于物流企业提高管理效率。长期以来,物流管理上还是存在很多问题,例如仓储运输中空间利用不科学、安全性差、燃油效率低下、周转时间随路径而浮动等。物流企业对数据处理的水平比较低。原有的传统的数据处理方式如数据收集、加工、存储和传输已经不适应物流企业对数据管理的需求。而大数据技术可以有效地解决这些问题,它能更好地收集、整合、分析和处理数据,数据融合性更好,零乱杂散的数据变得系统和有序,以提升物流数据的价值。例如实现合理布局仓储运输的空间,能最优和最短选择好物流运输行程路径。2.2有利于物流企业做出正确的决策。物流企业的决策主要包括三个方面,即合作与竞争的决策、供需匹配的决策、资源配置的决策。传统的物流决策是根据个人经验,结合市场调研而制定的,这种决策方式已不能适应如今的信息化时代。实际上,单凭市场调研、个人经验是无法预测物流市场的需求变化,真实的、海量的物流市场原始数据才是做出科学决策的依据。物流企业通过运用大数据技术对市场的原始数据进行收集、分析、处理,可以全面地、深层次地了解到合作者(或者竞争对手)的真实情况,从而做出合作(或竞争)的判断;对特定区域、特定时期的物流供需情况进行分析,从而做出合理的配送管理决策;实时监测市场变化,从动态性和随机性的数据中提取当前的物流需求信息,同时对已配置和将要配置的资源进行优化,做出合理的资源配置决策,从而实现对物流资源的合理利用[2]。2.3有利于建立良好的客户关系。传统的客户关系数据一般来源于企业的客户管理系统,或是日常的积累,信息接收方式单一,这样的数据容量有限,更新滞后,客户的需求得不到实时跟踪,也达不到及时满足。随着互联网等信息技术的发展,客户对物流的评价与反馈、需求等信息可能会出现在QQ签名、微信朋友圈,微博日志里,呈现的形式也是多种多样,可能是文字,可能是图片,也可能是语音,还可能是视频。物流企业运用大数据技术可以从这些大量的数据源中筛选、提取有用的信息,并对这些数据进行加工、处理、整合,形成有利于物流企业进行客户管理的数据,从而有效减少了客户投诉,服务变被动为主动,通过对新老用户的大数据挖掘和分析,可以满足客户需求,增强客户信用度,培养客户粘性,减少客户流失。

3物流企业应用大数据关键技术的状况

按照对大数据的处理流程来说,物流企业主要应用的大数据关键技术包括了大数据采集技术、大数据前期处理技术、大数据存储技术和大数据分析挖掘技术。3.1大数据采集技术在物流企业中的应用。物流企业经常遇到这样的问题:大量用户并发访问和操作,产生了海量的数据,包括了RFID射频数据、海量网络数据、移动互联网数据等,而这些海量数据呈现的方式不同,有结构化、半结构化及非结构化的,在数据采集上存在困难。为此,这可以采用如下大数据采集技术来解决。1)数据库采集。使用MySQL和Oracle等工具来管理数据,同时利用Sqoop和结构化数据库间的ETL工具,开源的Kettle和Talend也集成大数据内容,和hdfs、hbase及其它主流数据库之间实现数据同步。2)移动互联网数据采集。借助网络爬虫或网站公开API等方式,实现有效地对移动互联网数据的采集。主要方式是从网络上获取数据和信息,有效提取移动互联网上大数据,使移动互联网非结构化数据,半结构化数据通过加工,变为结构化的有序数据,并将其存储为统一的本地数据文件。3)数据文件采集。进行实时的文件采集和处理有多种方式。Flume是Cloudera公司提供的一个日志采集、聚合和传输的系统,具有高可用性,高可靠性等特点。ELK是Elastic-search、Logstash、Kibana三者的组合技术,能实现日志数据处理,通过模板配置,以实现文件采集[3]。3.2大数据前期处理技术在物流企业中的应用。采集物流原始数据后,必须对其进行前期处理,客户和货物数据的前期处理工作尤为重要。物流数据前期处理主要涉及到对物流原始数据的清理、填补、集成、合并、规格化和一致性等,使杂乱无章的数据有序化,经处理后的数据结构相对单一,以便于处理,为后期物流数据分析创造条件。1)物流数据清理。ETL和Potter'sWheel是物流数据清理的主要工具。ETL和Potter'sWheel能有效实现对组内的数据处理,如物流大数据平滑处理、聚类、计算机人工检查和回归等方法,并且能去除噪音,以解决数据遗漏问题。2)物流数据集成。原始物流数据是杂乱和零散的,通过物流数据集成可以将其结构化、有序化。具体做法是将物流数据源中的数据进行合并,以存放到一个结构统一的数据库中。数据冗余、模式匹配、数据值冲突检测与处理是必须解决的问题。3)物流数据变换。物流数据转换分为两种,即数据格式及名称的统一和数据处理。其中,数据格式及名称的统一包括了对数据粒度转数据格式、计量单位、商务计算和标准命名等;数据处理是通过数据库字段分割计算或组合,以解决数据冗余问题。3.3大数据存储技术在物流企业中的应用。MPP架构的数据库集群、Hadoop技术扩展和封装、大数据一体机是最典型的三种大数据存储技术。1)采用数据库集群MPP架构。MPP(MassivelyParallelProcessing,即大规模并行处理),MPP是将任务并行的分散到多个服务器和节点上,再汇总在每个节点上计算完成后的结果,形成最终结果。主要面向物流行业大数据,采用MPP架构来建立数据库集群,采用SharedNothing架构,利用多种大数据处理技术,如粗粒度索引、列存储等,然后结合分布式计算,以完成对分析类应用的支撑。2)利用Hadoop技术进行扩展和封装。Hadoop是一个分布式系统基础架构。HDFS和MapReduce是Hadoop的核心的设计,它们分别提供了存储和计算的支持,其中,HDFS为海量的物流数据的存储提供支持,而MapReduce则为海量的物流数据的计算提供支持。通过扩展和封装的Hadoop技术来实现对物流大数据存储、分析的支撑。3)大数据一体机。大数据一体机是物流大数据分析处理的理想产品,是硬件和软件结合的产品。硬件包括服务器、存储设备等;软件是由数据库管理系统和用于数据查询、处理、分析的软件组成的。大数据一体机性能好,处理能力强,且具有良好的稳定性和纵向扩展性。3.4大数据分析挖掘技术在物流企业中的应用。以物流车货匹配平台为例,车辆在进行物流运输过程中,会产生海量大数据,如车辆特征、发车时间、停车时间、行驶距离、地理位置等。通过统计、分析这些数据,可以发现货运车辆的行为特征,获取区域物流的流量分布,甚至掌握社会经济发展动态的信息。这为物流企业开展车辆调度提供了可靠的理论依据和技术支持,能使物流企业在时间、成本、路线方面做出科学决策,从而提高了物流企业货运效率。1)物流数据可视化分析。数据可视化的直观和有效方式是将数据图形化。物流数据种类繁杂、数据结构不统一,物流企业借助可视化数据分析平台,对数据进行关联分析,构建物流数据分析图表,使数据在展示方面简单明了、清晰直观,更易于接受。2)数据挖掘算法。数据分析与数据挖掘算法息息相关。数据挖掘算法的基础是数据挖掘模型。物流企业可以通过数据收集分析和整理,创建挖掘模型的最佳参数,将这些参数应用于整个数据模型以便提取可行模式和详细统计信息[4]。3)预测性分析。客户需求、物流行业发展趋势的预测对物流企业而言是很重要的。大数据分析主要是统计分析、预测建模、数据挖掘、实体分析、实时评分、文本分析和机器学习等,从杂乱的数据中找出有规律性的特征,以预测其发展的趋势和方式,为物流企业的决策提供决策。4)语义引擎。对已有的数据进行语义解释即是语义引擎。其实质是将现有结构化或者非结构化的数据库进行语义注解。它直接的应用是可以将人们从复杂的搜索条目中解放出来,让用户能更有效地使用信息。用户能更快、更准、更全地获得所需信息,以提高用户的互联网体验。

参考文献:

[1]马建光,姜巍.大数据的概念、特征及其应用[J].国防科技,2013,34(2):10-17.

[2]彭小圣,邓迪元,程时杰,等.面向智能电网应用的电力大数据关键技术[J].中国电机工程学报,2015,35(3):503-511.

[3]MPP(大规模并行处理)简介[EB/OL].https://blog.csdn.net/qq_42189083/article/details/80610092,2018-06-07.

[4]javastart.这才是真正的物流大数据挖掘思路[EB/OL].https://blog.csdn.net/javastart/article/details/50895409,2016-07-07.

作者:单位:湖南财经工业职业技术学院

关于本站:中国最大的权威的公务员门户网站-公务员之家创建历经7年多的发展与广大会员的积极参与,现已成为全国会员最多(95.4万名会员)、文章最多、口碑最好的公务员日常网站。荣膺搜狐、新浪等门户网站与权威媒体推荐,荣登最具商业价值网站排行榜第六位,深受广大会员好评。

公务员之家VIP会员俱乐部

在公务员之家您可以分享到最新,最具有时事和代表性的各类文章,帮助你更加方便的学习和了解公文写作技巧,我们愿与您一同锐意进取,不懈的追求卓越。

如何加入公务员之家VIP会员
第一步:先了解公务员之家,查看VIP会员特权
第二步:银行汇款或在线支付,汇款即时到帐
第三步:汇款后立刻联系我们,将您的汇款金额和流水号告诉客服老师,3分钟内系统核查完毕并发送VIP会员帐号到您的手机中,直接登陆即可。

版权所有:唐人娱乐彩票