Datahub安装部署指南

系统要求 :windows server 2008及以上, 64位操作系统, 安装目标磁盘空间至少20G以上(日志文件需要)。

网络要求 :一个dmp平台可以访问到的端口。

安装文件下载地址:datahub安装文件

部署过程

一、下载Datahub安装文件(windows64位)

解压Datahub压缩文件,包括3个文件:

1) dmp-datahub-1.0.0-windows-amd64.exe (Datahub程序文件, 1.0.0为版本号, 也可以通过命令行查看版本号及编译时间)

2) nssm.exe (windows服务安装工具) 3) wmi_exporter.exe (监控程序)

二、安装Datahub

1.创建安装目录(以下d:\为示例磁盘)

1) 在目标磁盘(建议非操作系统磁盘)创建目录, d:\datahub\logs和d:\datahub\old

2) 将解压的文件复制到d:\datahub\目录下, 并将dmp-datahub-1.0.0-windows-amd64.exe文件复制一个新文件名为dmp-datahub.exe。

3) 将dmp-datahub.exe添加到杀毒软件的白名单/可信任列表(避免被误杀)。

2.设置配置文件

1) 打开cmd.exe, cd到d:\datahub, 运行命令行 dmp-datahub.exe init, 生成一个模板配置文件datahub.example.toml。参考截图:

2) 复制datahub.example.toml为datahub.toml, 打开并编辑datahub.toml文件。

配置项说明

项目项名称 说明值 示例
api_key Dmp flow与datahub通信的密钥, dmp添加数据源时填写该密钥。建议使用初始化配置模板文件时产生的该配置项值 wVPWsxCgSpDYWPqk
env_code 客户环境名称(直接填写租户代码) vanke
db.pool 数据库连接池的连接数,取决于sql执行并发数多少。建议用默认值 10
db.timeout sql执行超时间(秒),建议120秒 120
db.url 数据库连接字符串(注意sql server端口打开) 参考模板文件值
Log.level 日志输出级别,建议:warn warn
Log.output 日志文件输出方式(多种用逗号隔开),建议:file,aliyun. File,aliyun
Proxy.metrics 性能监控代理地址。如果不开启,直接填写空字符串, 建议使用默认值开启 127.0.0.1:9182
Tracing.enable 是否开启opentrace性能跟踪. 0为不开启。建议设置为0,除非需要额外调试才填写1 0
Upload.zip_record 异步模式同步时多少记录压缩成一个zip文件, 取决于服务器的内存,cpu和表数据量大小。建议使用默认值 100000

注意:env_code,db.timeout,db.url,Log.level,Log.output,Tracing.enable这些配置项需要填写,其他没有特别说明,请使用默认值。

3.安装服务

1) 在cmd运行命令 nssm.exe install, 弹出服务安装配置界面,按下图的值配置Application和I/O两个选项卡内容

datahub

datahub

Service name: datahub

Application部分:
Path: d:\datahub\dmp-datahub.exe
setup directory: d:\datahub
Arguments: serve -p 19988    (19988 表示datahub对外的端口)

I/O部分:
Output (stdout): d:\datahub\logs\stdout.log
Error (stderr): d:\datahub\logs\stdout.log

点击Install service 按钮后,弹出提示成功。

如果要在安装后,再编辑服务,可以使用命令:

nssm.exe edit datahub

2) 设置服务失败自动重启

在 windows run 的命令界面输入 services.msc 或者通过控制面板打开服务管理工具,然后选择datahub服务,双击弹出属性配置窗口,点击[恢复]选项页,将第一次失败,第二次失败,后续失败改为[重新启动服务],点击应用保存。

datahub

datahub

4.确认安装成功

在浏览器中输入 http://127.0.0.1:19988 ,显示datahub欢迎页面,则表示部署成功。

datahub

三、安装服务器性能监控(可选)

1.安装监控程序wmi_exporter.exe;

2.使用 nssm.exe insteall 命令安装wmi_exporter服务(参考上面安装datahub);

Service name: vmi_exporter

Application部分:
Path: d:\vmi_exporter\wmi_exporter.exe
setup directory: d:\vmi_exporter
Arguments: --collectors.enabled "cpu,process,net,mssql,tcp,os,system,service,logical_disk" --collectors.mssql.classes-enabled="accessmethods,bufman,databases,genstats,locks,memmgr,sqlstats" --collector.service.services-where "Name='dmpdatahub'" --log.format logger:eventlog?name=wmi_exporter  --telemetry.addr :9182  

I/O部分:
Output (stdout): d:\vmi_exporter\logs\stdout.log
Error (stderr): d:\vmi_exporter\logs\stdout.log

3.设置服务失败后重启(参考上面安装datahub服务);

4.确认安装完成,在浏览器中输入 http://127.0.0.1:9182/metrics ,显示监控数据页面则表示成功。

附录

Datahub命令行说明

dmp-datahub.exe init 创建配置文件模板

dmp-datahub.exe secret 生成api_key

dmp-datahub.exe –help 查看指令说明

results matching ""

    No results matching ""