-
bigdata——HBase+zookeeper+Hadoop集群构筑 之 Hadoop YARN集群
所属栏目:[大数据] 日期:2021-05-26 热度:113
副标题#e# 最近项目调查闲下来了,有时间让大脑来整体之前做过的调查,为了便于基于存档,遂将其记录下来,希望对后来者有所帮助。 背景 为了了解Hbase集群下数据的查询以及安全性方面的性能数据,需要搭建HBase集群,简单测试。 角色分类 +--------------+[详细]
-
bigdata——HBase+zookeeper+Hadoop集群构筑 之 zookeeper集群构
所属栏目:[大数据] 日期:2021-05-26 热度:196
整体流程 zookeeper物件下载 物件解压 zoo.cfg文件作成 zoo.cfg文件设定 dataDir的 ID作成 zookeeper物件 zookeeper官网下载,此处使用的是zookeeper-3.5.1-alpha。 物件解压 直接使用如下命令 tar -zxvf zookeeper-****-***.gz zoo.cfg文件作成 命令如下[详细]
-
bigdata——HBase+zookeeper+Hadoop集群构筑 之 Hbase集群构筑
所属栏目:[大数据] 日期:2021-05-26 热度:92
整体流程 物件下载 解压 conf文件配置 启动停止 状态确认 物件下载 ???? 参考hbase官网 解压 ?? tar -zxvf hbase-***.gz conf文件配置 1.hbase-env.sh export JAVA_HOME=/usr/java/jdk1.7.0_67export HBASE_MANAGES_ZK=false 注意:JDK根据自己的环境配置[详细]
-
大数据处理的关键层次架构
所属栏目:[大数据] 日期:2021-05-26 热度:178
图1、大数据处理的关键层次架构 以下是对上图中各层次架构的说明 一、数据存储层 宽泛地讲,据对一致性(consistency)要求的强弱不同,分布式数据存储策略,可分为ACID和BASE两大阵营。 ACID是指数据库事务具有的四个特性:原子性(Atomicity)、一致性([详细]
-
推荐丨大数据处理漫谈:盘点开源软件栈
所属栏目:[大数据] 日期:2021-05-26 热度:117
本篇文章重点梳理了软件栈,主要以开源软件为主,闭源不谈。大数据发展至今,开源软件层出不穷,也去解决了不同的问题,笔者试图去弄清楚这些,分门别类,后面也可以参照下。由于笔者知识面有限,难免会出现一些偏颇,不全,不正确,还请指正。后面也会有[详细]
-
几个个用于大数据分析的最好工具
所属栏目:[大数据] 日期:2021-05-25 热度:110
大数据是一个含义广泛的术语,是指数据集,如此庞大而复杂的,他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大[详细]
-
什么是边缘计算?它将如何改善5G?
所属栏目:[大数据] 日期:2021-05-25 热度:186
在集中式系统中,数据必须从生成位置(设备)传播到中央节点进行处理,然后再返回其原始位置。此过程涉及大量信息,并且消耗大量带宽,有时,当数据往返传输时,可能会导致延迟,从而影响设备本身的正常运行。 此外,随着5G,人工智能,机器学习和区块链等[详细]
-
智能车辆识别技术为智慧城市铺满了路灯
所属栏目:[大数据] 日期:2021-05-25 热度:52
车辆识别技术的发展以及向道路智能的转变 车辆识别通常与票务和通行费相关,但是该技术可以充当许多智慧城市服务的中央枢纽。通过使用现有的摄像头,城市可以利用车辆识别技术数据来提供改进的服务并提高收入回收率。 如今,几乎所有支持IP的摄像机都可以[详细]
-
人工智能如何完善智能家居?
所属栏目:[大数据] 日期:2021-05-25 热度:175
智能音箱 我们很少在家里用遥控器。如今,当我们需要帮助时,要么是Alexa,要么是Siri,要么是其他语音助手。无论是换频道,关灯,还是在线下单。这些智能扬声器能够接收命令并执行命令。他们使用人工智能驱动的自然语言处理来执行任务。 这些智能音箱已经[详细]
-
智慧城市如何实现数据的真正意义?
所属栏目:[大数据] 日期:2021-05-25 热度:100
悉尼是新南威尔士州的州首府,也是澳大利亚人口最多的城市,目前在数字首都指数中排名全球第14位。在管理发展研究所(IMD)的2020年智慧城市指数中,该城市与新加坡科技设计大学合作,在109个城市中排名第18位。该排名基于公民对技术对其生活质量以及经济[详细]
-
AI人脸识别太简单?
所属栏目:[大数据] 日期:2021-05-25 热度:65
现代计算机视觉技术完全有能力给我们展示只有在电影中才能看到的那种技术超能力。我们可以将视频加载到人工智能系统中,并告诉它放大低分辨率的帧,通过一点训练和一些巧妙的算法,我们可以使它增强图像进行识别。 这听起来可能没什么大不了。但想想特斯拉[详细]
-
全面分析Apache Spark窗口功能
所属栏目:[大数据] 日期:2021-05-25 热度:196
在此博客文章中,我们将深入探讨Apache Spark窗口函数。 您可能也对我之前有关Apache Spark的帖子感兴趣。 使用Apache Spark开始您的旅程-第1部分 使用Apache Spark开始您的旅程-第2部分 Apache Spark开始您的旅程-第3部分 深入研究Apache Spark DateTime[详细]
-
以大数据处理5G科技网络安全的新方向
所属栏目:[大数据] 日期:2021-05-25 热度:103
伴随5G技术的应用与发展,从智慧城市的水力、电力、政务等公共事业,到个人生活领域的智能医疗设备、自动驾驶汽车等,5G使得城市的生产方式与运转模式面临一次颠覆性的变革,不仅带来便利,也带来了新的网络安全挑战。 众所周知,5G技术的典型特征是高带宽[详细]
-
数据管理告捷的最重要举措
所属栏目:[大数据] 日期:2021-05-25 热度:117
组织最基本的挑战是收集数据,因为它可以以多种形式存在,甚至包括手写文档和个人生成的演示文稿。数据和文档所在的不同来源可能会进一步混淆此过程,这些来源包括专有和非协作数据库,定制系统以及从其他来源导出的手动文档。 如果没有组织,组织可能会被[详细]
-
2020年大数据给企业带来的5大优势
所属栏目:[大数据] 日期:2021-05-25 热度:184
为什么小型企业会忽略大数据 当企业管理人员听到大数据这一术语时,他们通常起初对其有些回避,因为他们认为这种技术只适用于谷歌和亚马逊这样的大型企业。并且他们认为,只有那些不惜一切代价在竞争中取得领先优势的跨国公司,才会采用大数据技术。 但由[详细]
-
人工智能将如何彻底改变零售客户体验
所属栏目:[大数据] 日期:2021-05-24 热度:131
人工智能已经在很多行业产生了重要影响。根据调研机构IDC公司的调查,2019年全球在人工智能方面的支出为310亿欧元,与2018年相比增长了44%。对于尚未开始人工智能之旅的企业来说,现在是研究其提供更多业务机会的时候了。 这是因为人工智能正在彻底改变每[详细]
-
DeepMind新模型自动生成CAD草图,网友:建筑设计领域要起飞了
所属栏目:[大数据] 日期:2021-05-24 热度:99
在制造业中,CAD 的应用十分广泛。凭借着精准、灵活、快速的特性,CAD 已经取代了纸笔画图,并且不再只是应用于汽车制造、航空航天等领域,哪怕小到一个咖啡杯,生活中几乎每个物件都由 CAD 画图建模。 CAD 模型中最难制作的部件之一就是高度结构化的 2D[详细]
-
自然语言处理是什么
所属栏目:[大数据] 日期:2021-05-24 热度:192
本章解释了自然语言处理是什么,最常见的自然语言处理应用是哪些以及开发自然语言处理应用程序的基本方法是什么。 1. 理解自然语言处理 人类通过自然语言互动,自然语言包括了许多信息。例如说,通过选择不同的词语,语气和句子的上下文可以被用来揭露一个[详细]
-
人工智能会不会产生意识?
所属栏目:[大数据] 日期:2021-05-24 热度:114
植物是有情绪和意识的 1966年研究生命学的科学家巴克斯特在给牛舌兰浇水时偶然发现植物有感应能力,他用测谎仪测量植物的电阻变化。发现牛舌兰和人的情绪竟然是一样的。 为大胆的做了另外一个测试,就是让植物害怕。如何和植物进行沟通,在没有想到的情况之[详细]
-
花那么大功夫在游戏里造厕所,图什么?
所属栏目:[大数据] 日期:2021-05-24 热度:111
厕所,在人类历史长河中是一个至关重要的存在。咱们西周时期便有文字记载古人「掘地为厕」,拉满了用土给填上,然后再开个新坑。两千年前的罗马人也会沿着墙边的一排大理石挖洞,讲究点的贵族还得让奴隶「暖厕」,保证自己在方便时贴着屁股的石头不会那么透[详细]
-
卓越的数据科学编程语言是R还是Python?
所属栏目:[大数据] 日期:2021-05-24 热度:164
编程语言之间的战斗一直是许多人所感兴趣的。 随着世界的发展,我们每隔几个月就会有一种新的编程语言或框架。 开发人员/分析师/研究人员一直在寻找能够以最低的成本获得良好性能而完成任务的最佳语言。 在标题中使用省略号的原因是,我们一直在寻找错误的[详细]
-
操纵Python进行数据分析之初识Pandas
所属栏目:[大数据] 日期:2021-05-24 热度:97
Pandas是构建在Python编程语言之上的一个快速、强大、灵活且易于使用的开源数据分析和操作工具。Pandas是基于Numpy的专业数据分析工具,可以灵活高效的处理各种数据集。 在Pandas中有这样两种数据结构:DataFrame、Series,DataFrame就类似Excel里面的Shee[详细]
-
带你5分钟了解数据可视化
所属栏目:[大数据] 日期:2021-05-24 热度:200
我们现在生活的每一秒都在产生着数据,比如你现在看这篇文章的时候。用的什么手机,型号,你所在地点,点开这篇文章的时间,花了多久看的文章都是被收集的数据。 当同类的数据集合在一起,甚至于纵向的其他数据展开联系时,都可以成为大数据。取决于是谁用[详细]
-
数据分析专家对冠状病毒到暗数据的分析与研究
所属栏目:[大数据] 日期:2021-05-24 热度:155
副标题#e# 在与两位顶级数据分析思想领袖的广泛对话中,行业媒体提出了当今数据分析中的一些关键问题。以下的主题包括: 在冠状病毒疫情持续蔓延的情况下,如何看待当前疫情影响数据分析部门或数据分析的工作实践? 商业智能专家和数据科学家在角色和关键优[详细]
-
人工智能影响制造业的几种方式
所属栏目:[大数据] 日期:2021-05-24 热度:97
人工智能无处不在,我们在日常生活中使用它,甚至没有意识到它。这些年来,人工智能取得了很大的进步。它可以影响许多不同的行业,这主要是因为它改进了处理、算法和它所保存的数据量。机器学习提供可供分析的数据,然后是关键的见解,它对制造业有巨大的[详细]

浙公网安备 33038102330469号