安装 bkdata 及其依赖

bkdata(蓝鲸数据平台基础服务)包含三个子工程

  • dataapi
  • databus
  • monitor

Bkdata依赖简图

新增的依赖有 kafkaesbeanstalkinfluxdb。其中kafka用来做数据流处理;es(elasticsearch)用来存储日志文本数据;beanstalk是监控后台依赖的队列服务,influxdb 是存储信息的时序数据库。

fta (故障自愈后台)依赖 bkdata,所以安装bkdata后,再安装 fta 模块,fta依赖redis,beanstalk, 以及mysql。

安装依赖

安装 elasticasearch

./bkcec install es
./bkcec start es

详解:

  1. 安装es(install_es)
    1. 安装java
    2. 同步es目录到$INSTALL_PATH/service/下
    3. 渲染配置模板
    4. 添加es系统用户来运行elasticsearch
    5. 修改内核参数和open files值
    6. 设置目录权限,让es用户可以读写。
  2. 启动 es

安装 Kafka

./bkcec install kafka
./bkcec start kafka

详解:

  1. 安装kafka(install_kafka)
    1. 安装java
    2. 同步kafka目录到$INSTALL_PATH/service/下
    3. 渲染配置模板
    4. 修改/etc/hosts 配置上主机名
  2. 启动 kafka

安装 beanstalk

./bkcec install beanstalk
./bkcec start beanstalk

详解:

  1. 安装 beanstalkd(install_beanstalk),使用yum安装
  2. 启动beanstalk

安装 InfluxDB

./bkcec install influxdb
./bkcec start influxdb

详解:

  1. 安装 influxdb(install_influxdb)
    1. 从$PKG_SRC_PATH/service/influxdb-*.rpm 安装
    2. 渲染配置模板, 并做软链接。
    3. 修改目录权限让influxdb用户可以读写。
  2. 启动 influxdb

安装 bkdata

./bkcec install bkdata
./bkcec initdata bkdata
./bkcec start bkdata

详解:

  1. 安装 bkdata(install_bkdata)
    1. 安装dependents.env里定义依赖的yum包
    2. 尝试修复可能引起安装MySQL-python pip包的lib库问题(fixlocation_libmysqlclient_r函数)
    3. 同步代码工程目录,同步cert目录
    4. 因为databus是java工程,安装java
    5. 安装python虚拟环境(init_virtualenv函数)
    6. 安装python工程的requirments.txt定义的pip包
    7. 渲染配置模板
  2. 初始化 bkdata(initdata_bkdata)
    1. 初始化mysql数据库表结构
    2. dataapi工程 migrate trt 初始化
    3. 初始化 kafka的topic数据
  3. 启动 bkdata
    1. 启动 bkdata
    2. 如果是第一次启动bkdata,那么运行init_bkdata_snapshot函数,因为这个初始化需要dataapi启动后才能运行。运行成功后,设置一个标记文件,$INSTALL_PATH/.init_bkdata_snapshot。防止重复执行。

安装 fta

fta 是故障自愈APP的后台进程

./bkcec install fta
./bkcec initdata fta
./bkcec start fta

详解:

  1. 安装 fta(install_fta)
    1. 安装dependents.env里定义依赖的yum包
    2. 同步代码工程目录,同步cert目录
    3. 安装python虚拟环境(init_virtualenv函数)
    4. 安装python工程的requirments.txt定义的pip包
    5. 渲染配置模板
  2. 初始化 fta(initdata fta)
    1. 初始化 mysql的库表结构
  3. 启动 fta
Copyright © 腾讯蓝鲸 2012-2018 all right reserved,powered by Gitbook最后修订日期: 2019-04-16

results matching ""

    No results matching ""