内容字号:默认大号超大号

段落设置:段首缩进取消段首缩进

字体设置:切换到微软雅黑切换到宋体

当前分类:

> 软件编程 > 大数据 >

  • 大数据工具Hadoop快速入门之安装教程01月21日

    前提 ubuntu、openssh-server和java安装ok 账号 sudo addgroup hadoop_sudo adduser --ingroup hadoop_ hduser_su - hduser_ssh-keygen -t rsa -P cat $HOME/.ssh/id_rsa.pub $HOME/.ssh/authorized_keysssh localhost 图片.png 图片.png 下载安装 http://ha

    Tags:Hadoop大数据
  • 大数据入门学习之环境搭建:VM、CentOS7安装,jdk1.8安装,Hadoo01月20日

    一:环境搭建:VM、CentOS7安装及网络配置 大数据入门首先需要搭建环境,接下来的三篇文章均是环境搭建部分的内容。 首先我们要安装虚拟机及linux系统 一、安装虚拟机VM 官网下载VM虚拟机:这里下载的VMware-workstation-full-10.0.4,好像往后的高版本需要w

    Tags:HadoopCentOS7大数据VMjdk
  • 数据行业从业者的选择:要么洗白 要么退场11月09日

    据知情人士透露,最近大数据行业,有大量从业者被警方带走调查。他们大多涉及冒充公检法的电信诈骗,过度营销或者数据外泄。就连新三板上市公司北京瑞智华胜科技股份有限公司(下称瑞智华胜)也涉及其中,其核心控制人因窃取30亿条公民信息,被警方带走。 全国

    Tags:大数据
  • 从面试官的角度谈谈大数据面试10月22日

    关于传授面试经验的文章太多了,眼花缭乱,我这里就不谈了,点进来想获取几吨面试学习资料的同学,抱歉让你失望了。(我是真的找不到那么多资料...)。所以,今天我们只聊面试官。 作为一只老鸟,我的面试经验还算丰富,无论是作为面试者还是面试官。其实这

    Tags:大数据面试
  • 大数据不是你想的那样09月24日

    学生党以及很多没设计过大数据开发的小伙伴呢,都对大数据这么一个领域感到非常非常的好奇非常非常的神秘,我今天就非要戳穿给你们看。 1、对,我们做大数据的也写普通的 Java 代码,写普通的 SQL。 比如 Java API版的 Spark 程序,长得跟 Java8 的Stream AP

    Tags:大数据
  • 换个姿势入门大数据09月01日

    这篇文章是我近期准备在公司做大数据分享的内容。因为习惯了全英文的 keynote,所以本来标题叫《Introduction to bigdata》,但微信的英文标题字体总觉得有些别扭,所以还是取了这么个中文名。 这篇文章的目的是带那些对大数据不了解又有兴趣的人入门。如果

    Tags:大数据
  • 美图大数据平台架构实践08月22日

    如今大数据在各行业的应用越来越广泛:运营基于数据关注运营效果,产品基于数据分析关注转化率情况,开发基于数据衡量系统优化效果等。美图公司有美拍、美图秀秀、美颜相机等十几个 app,每个 app 都会基于数据做个性化推荐、搜索、报表分析、反作弊、广告等

    Tags:美图大数据架构
  • 一文详解大规模数据计算处理原理及操作重点08月09日

    一、RAID技术 大数据技术主要针对的是大规模数据的计算处理问题,那么要想解决的这一问题,首先要解决的就是大规模数据的存储问题。大规模数据存储要解决的核心问题有三个方面: 数据存储容量的问题,既然大数据要解决的是数以PB计的数据计算问题,而一般的

    Tags:大数据
  • 大数据时代下的隐私保护(三)08月03日

    1. 引言 在大数据时代,数据带来了巨大价值的同时,也带来了用户隐私保护方面的难题,如何在大数据开发应用的过程中保护用户隐私和防止敏感信息泄露成为新的挑战。 我们的大数据隐私保护系列文章的第一篇[1]和第二篇[2]主要讲解了k-anonymity(k-匿名化),l-div

    Tags:大数据隐私保护
  • Hadoop(十一):flume把数据写入kafka06月30日

    使用flume把数据写入kafka,需要改变flume配置文件中的sinks属性 进入flume安装文件的conf下创建一个 .properties 文件 这里创建 c.properties,并对其进行配置 ak.sources = mysourceak.channels = mychannelak.sinks = mysinkak.sources.mysource.type = s

    Tags:Hadoopflumekafka
  • 如何构建一个企业的大数据分析平台06月24日

    面对海量的各种来源的数据,如何对这些零散的数据进行有效的分析,得到有价值的信息一直是大数据领域研究的热点问题。 大数据分析处理平台就是整合当前主流的各种具有不同侧重点的大数据处理分析框架和工具,实现对数据的挖掘和分析,一个大数据分析平台涉及

    Tags:大数据
  • 饿了么大数据计算引擎实践与应用05月29日

    讲师介绍 陈凯明 ,具有多年从事大数据基础架构工作经验。目前担任饿了么数据平台研发团队资深数据工程师,主要负责饿了么离线平台及底层工具开发。 饿了么BDI-大数据平台研发团队目前共有20人左右,主要负责离线实时Infra和平台工具开发。其中6人的离线团队

    Tags:大数据
  • 学习大数据我们要从哪里开始呢?(第二阶段)05月10日

    第二阶段(必备): 1. 数据结构 2. 关系型数据库 3. Linux系统操作 4. Linux操作系统概述 5. 安装Linux操作系统 6. 图形界面操作基础 7. Linux字符界面基础 8. 字符界面操作进阶 9. 用户、组群和权限管理 10. 文件系统管理 11. 软件包管理与系统备份 12. Li

    Tags:大数据
  • 常用的几种大数据架构剖析04月12日

    数据分析工作虽然隐藏在业务系统背后,但是具有非常重要的作用,数据分析的结果对决策、业务发展有着举足轻重的作用。随着大数据技术的发展,数据挖掘、数据探索等专有名词曝光度越来越高,但是在类似于Hadoop系列的大数据分析系统大行其道之前,数据分析工

    Tags:大数据
  • 大数据时代 何来隐私03月30日

    数据影响力正在不断增强。网络上的个人信息帮助特朗普赢得了总统竞选,而民众的在线身份一次又一次的让Facebook突破底线。 但由于美国大选以及最近揭露的Facebook数据泄密丑闻,不仅引来了联邦贸易委员会的调查,还让在线消费者和立法者对数据在我们生活中的

    Tags:大数据
  • 微信海量数据监控的设计与实践03月08日

    本文分享的是微信运维监控系统的具体设计实践。在分享开始之前,我们先看如下图中微信后台系统的现状。 面对庞大的调用量及复杂的调用链路,单靠人力难以维护,只能依赖一个全方位监控、稳定、快速的运维监控系统。 我们的运维监控系统主要有三个功能: 故障

    Tags:微信
  • Waterdrop:构建在Spark之上的简单高效数据处理系统03月05日

    本文来自 Gary和RickyHuo,他们是Waterdrop开发者,从事大数据相关工作多年,熟悉Hadoop技术体系,参与过多个大数据开源项目,目前分别供职于一下科技和新浪。 Databricks 开源的 ApacheSpark对于分布式数据处理来说是一个伟大的进步。我们在使用Spark时发现

    Tags:WaterdropSpark
  • 线下杀生线上杀熟 大数据的锅谁来背03月05日

    近日,微博网友廖师傅爆料自己在某网站某酒店的常客,偶然发现购价380的房间,其他用户只需要300元就能拿下,并用朋友账号测试后再度证实。该消息一经发酵,瞬间引来大批网友共鸣。电商杀熟现象不仅存在酒店预订上,在打车、通讯套餐、电影订票、网络购物等

    Tags:大数据
  • 让大数据可视化 艺术家想用它帮我们选择更好的朋友03月03日

    对于大数据,我们经常听到一些可怕的消息,比如大公司或者政府侵犯个人隐私。不过,往好的方面想,假如我们自己能够运用这些数据让我们生活变得更好呢? 这正是艺术家劳瑞弗里克( Laurie Frick)正在做的事她想要用大数据建立一个远离虚伪没有欺诈的世界。

    Tags:大数据艺术家
  • 大数据到底能帮你做什么03月01日

    似乎很多创业人,都喜欢讲一些概念化的东西。例如前两年的互联网+,例如后来的大数据,又例如最近的区块链 然而我看到的满嘴互联网+、大数据、区块链的人,并没有几个真正理解这些东西到底是什么,是如何运作的,以及如何达到世人所见的神奇效果。 当人们在

    Tags:大数据

CopyRight © 2015-2016 QingPingShan.com , All Rights Reserved.