学习经验
从来没有真正的|
  文章分类
大数据 41 Docker 2 SpringCloud 1 工具 5 Git 2 Java 15 npm 1 读书 2 中华人民共和国70周年 1 大数据实战 3 CentOS 1 Linux 1 大数据项目 2 Django 5 pip 1 MySQL 1 全国性哀悼活动 1 Python 5 Matlab 1 机器学习 3 R 语言实战（第2版） 1
spark-submit提交集群执行 spark-submit提交集群执行
spark-submit--master yarn-cluster //集群启动--num-executors 1 //分配多少个进程--driver-memory 500m //driver内存--executor-
2019-07-29 大数据
大数据 SparkStreaming spark-sumbit
ZooKeeper清除已有的消费的offsets ZooKeeper清除已有的消费的offsets
CDH集群中的ZooKeeper 启动ZooKeeper客户端zookeeper-client 清除消费者 例如rmr /consumers/WarningStreamingTask/offsets
2019-07-23 大数据
大数据 ZooKeeper
SparkStreaming+Kafka的两种模式Receiver模式和Direct模式 SparkStreaming+Kafka的两种模式Receiver模式和Direct模式
SparkStreming + Kafka Receiver模式理解 Receiver模式理解在SparkStreaming程序运行起来后，Executor中会有Receiver Tasks接收Kafka推送过来的数据。数据会被持久化，默认
2019-07-19 大数据
大数据 Kafka SparkStreaming Receiver Direct
Elasticsearch的9200端口和9300端口的区别 Elasticsearch的9200端口和9300端口的区别
9200端口作为HTTP协议，主要用于外部通讯 9300端口作为TCP协议，jar之间就是通过 TCP协议通讯 ES集群之间是通过9300端口进行通讯
2019-07-18 大数据
大数据 ElasticSearch
Elasticsearch集群配置 Elasticsearch集群配置
安装Elasticsearchmkdir /opt/software/elasticsearch/data/ mkdir /opt/software/elasticsearch/logs/ chmod 777 /opt/software/e
2019-07-06 大数据
大数据 ElasticSearch
Flink练习 Flink练习
一、Flink开发IDEA环境搭建与测试1、IDEA开发环境先虚拟机联网，然后执行yum -y install ncnc是用来打开端口的工具然后nc -l 9000 1.pom文件设置 <properties>
2019-05-18 大数据
大数据 Flink
1 / 7