精准扶贫大数据综合管理系统的设计与实现
说明：文章内容仅供预览，部分内容可能不全。下载后的文档，内容与下面显示的完全一致。下载之前请确认下面内容是否您想要的，是否完整无缺。
精准扶贫大数据综合管理系统的设计与实现 摘要：随着经济和各行各业的快速发展，随着大数据技术的不断发展，基于大数据技术的应用越来越普及，借助大数据技术能够从海量的数据资料中挖掘有价值的信息，使得借助大数据技术开展金融精准扶贫工作成为可能。另外，运用大数据技术开展金融扶贫工作的数据采集、处理和分析，有助于提升金融扶贫工作的效率，提升金融扶贫工作的精准性，有利于提升金融扶贫工作的效果。因此，适时进行大数据视域下金融精准扶贫研究具有一定的现实意义。 关键词：精准扶贫；扶贫数据管理；Hadoop架构 引言 随着我国信息化建设的不断发展，在扶贫开发领域已经积累了大量具有实际指导意义的扶贫数据，如何有效管理和利用这些日益增长的扶贫大数据是当前亟待解决的问题。为实现高性能的扶贫大数据管理平台的建设，本文针对精准扶贫工作中产生的扶贫数据管理问题，提出基于Hadoop架构的精准扶贫大数据系统设计方案，研究使用FP-Growth算法实现精准扶贫数据的深入挖掘，保证数据的安全可靠和智能化利用，为精准扶贫工作提供有力依据。 1概述 1.1大数据的含义 在社会经济与科学技术快速发展的今天，全球的大数据信息早在2011年就已经达到了100亿TB以上，在近几年的发展中仍然呈现出较快的上升趋势，人们的生活已经进入大数据时代，简单来说大数据存在于人们生活的各个方面，能够让人们及时认识世界，在获取信息的时候进行全面的数据分析和整合，使人们探索世界的媒介在科技发展的过程中进行更深层次的拓宽。大数据的核心是借助数据进行信息处理和分类，及时准确地获取有用的数据，并进行详细分析，实现数据呈现和处理，其具有明显的特征：数据体量大，数据类型多，数据要求处理速度快，数据价值密度低。 1.2大数据实时精准扶贫的原理 在大数据时代，获取信息达到了前所未有的高效，在过去数据信息没有实现共享的状态下，相关的数据调取只能通过简单的抽签等方式决定，其随机性受到了多种因素的影响，并且并不能代表大范围的整体状态。但当大数据能够被实际应用开始，各种信息已经被各地的相关部门进行收录，最后经过互联网进行整合，直观地体现在数据库汇总上面，当人们想要进行挑选和筛查时，便可以通过不同的角度、不同的现实状况，进行科学的观察和分析，在数据方面能够体现出的信息的广泛性，并不局限于调查相关的信息，人们对整体情况进行分析也趋向于全面和便捷，从而能够做出更加合理的科学决策。 2大数据视域下金融精准扶贫的实施策略 2.1借助大数据技术构建金融精准扶贫平台 首先，借助大数据技术构建金融精准扶贫平台，对贫困地区开展抽样调查，获取贫困户的家庭收入等基本情况，从而实现对贫困户的精准识别。然后，借助大数据技术改变传统“一刀切”式的金融扶贫方法，根据不同贫困户的不同情况及不同致贫原因，分别采用不同的金融扶贫方法，例如资金扶持及贴息贷款等，从而实现“对症下药”式的个性化金融精准扶贫。最后，借助大数据技术为金融精准扶贫工作提供动态管理保障，使得每个贫困户相关的金融扶贫信息都一目了然，避免贫困户相关信息不能及时更新现象的发生，有助于帮助贫困户实现根本脱贫致富。 2.2精准扶贫信息的数据挖掘过程 精准扶贫信息的数据挖掘过程可以概括为业务分析、统一存储、计算转换、模型分析、模式评估和知识表示等，精准扶贫信息的数据挖掘过程要按照数据转换、预处理、算法挖掘和决策输出等步骤进行。由于扶贫信息的元数据具有容量大、内容多、结构复杂等特点，在进行数据转换的过程中要首先进行业务分析来确定数据挖掘对象和具体指标，然后按照分析结果进行数据收集和存储；初步转换得到的挖掘数据群数据的完整性、格式和有效性无法保证，还要进行进一步的预处理和清晰才能进行后续操作，因此在此阶段要按照前边制定的挖掘指标进行计算转换，通过平滑聚集、数据概化、规范约束等方式得到适用于数据挖掘算法的清洗后数据；得到清洗数据后就要根据所选的算法构建计算模型，此阶段要根据业务需要来有针对性地选择数据挖掘算法，这样才能保证后续的模式评估和知识表达的正确性，为领导层的决策支持找到有价值的规则和模式，最终以图标的方式呈现给用户层的相关用户。 2.3优化精准扶贫大数据系统，实现扶贫资源共享 精准扶贫必须创新扶贫资源使用方式，由多头分散向统筹集中转变，这就需要充分发挥大数据系统的作用。建议贫困地区逐步构建统一的精准扶贫大数据系统，以县、市为单位，构建全面、系统的扶贫大数据系统。在这方面，可以借鉴云南省的经验，云南构建了省级精准扶贫大数据可视化管理平台，在该平台上对全省范围内的贫困地区进行了划分，并对每一个贫困地区的贫困现状进行了数据录入，针对每一名贫困户进行电子建档，明确贫困户产生贫困的原因，并针对贫困户的金融扶贫、健康扶贫、社会救助、培训就业、教育扶贫等资料进行实时更新，以全面展示各地的扶贫大数据，提升精准扶贫的成效。 2.4借助大数据技术构建金融精准扶贫动态监控体系 借助大数据技术完善扶贫信息库，构建金融精准扶贫动态监控体系，通过多样化的扶贫信息融合，为基于大数据技术的金融金准扶贫工作提供必要的数据支持，从而实现金融扶贫资源的有效配置和动态监管。 2.5精准扶贫大数据信息系统架构 Hadoop是一种被广泛使用的大数据集分布处理技术框架，是由著名的非营利性组织Apache软件基金会提出和开发的。Hadoop架构的核心技术是HDFS和MapReduce，具有高可靠性、高性能、可伸缩特性等数据处理技术优势。HDFS（HadoopDistributedFileSystem，分布式文件系统）实现了海量大数据仓库的存储和维护服务，具有极高的容错性和自主性，在保证Hadoop架构的高性能的同时也可以为供应商提供成本较为低廉的分布式服务。MapReduce是一种利用集群技术进行高速高效运算的技术，它具有支持领域搜索、海量数据计算等特点。通过技术研究可知，Hadoop架构的使用可以很好地解决原有扶贫信息系统数据可靠性难以保证和数据深度挖掘能力不足的问题。因此，在进行基于大数据的精准扶贫信息系统设计的过程中决定采用Hadoop结构来实现分层结构. 结语 为了更好地借助大数据技术开展金融精准扶贫工作，本文进行了大数据视域下金融精准扶贫研究。首先介绍了大数据视域下金融精准扶贫的优势，然后阐述了大数据视域下金融精准扶贫现存的问题，最后提出了大数据视域下金融精准扶贫的实施策略。经过一段时间的基于大数据技术的金融精准扶贫实践，发现该策略能够有效地完善金融扶贫动态监控机制，有效地对金融精准扶贫信息进行共享，有效地提升金融资源的配置效率，具有一定的推广价值。 参考文献： [1]宋锐.投身“大扶贫”拥抱“大数据”——贵州农信充分发挥脱贫攻坚金融主力军作用[J].当代贵州，2017（9）：52-53. [2]魏仕杰，魏敏.用大数据与区块链模式实施金融科技精准扶贫[J].中国金融电脑，2019（2）：88-91. [3]刘晓明.基于金融精准扶贫大数据云计算服务平台的研究[J].金融科技时代，2018（6）：39-42. [4]王军，吴海燕.“互联网+”背景下精准扶贫新方式研究［J］.改革与战略，2016，32（12）：111-114. [5]余雪源，杨媛，张莹.基于精准扶贫的农村电商发展创新研究［J］.农业经济，2018（04）：129-131. [6]张栗粽，崔园，罗光春，等.面向大数据分布式存储的动态负载均衡算法[J].计算机科学，2017，44（5）：178-183. [7]申利民，陈真，李峰.考虑数据变化范围的Web服务服务质量协同预测方法[J].计算机集成制造系统，2017，23（1）：215-224. 本文来源：https://www.wddqw.com/doc/b843379ecebff121dd36a32d7375a417876fc1f1.html