linux系统级优化
一、在cdh+cm部署时,已经做了部分系统优化 ssh双向免密 配置时间同步服务(本次没用ntpd,用的是chrony) 禁用透明大页、碎片整理:THP (Transparent Huge Pages) 禁用内存交换swap(常用0或1) 二、hadoop集群推荐内核参数: 参数名称 默认值 说明 文件系统参数 fs.file-max 6815744 系统最大文件描述符数量(所有进程可打开文件总数上限) fs.aio-max-nr 1048576 异步I/O请求的最大并发数(影响高并发场景性能) 网络核心参数 net.core.rmem_default 262144 TCP接收缓冲区默认大小(256KB) net.core.wmem_default 262144 TCP发送缓冲区默认大小(256KB) net.core.rmem_max 16777216 TCP接收缓冲区最大允许值(16MB) net.core.wmem_max 16777216 TCP发送缓冲区最大允许值(16MB) TCP协议栈参数 net.ipv4.tcp_rmem 4096 262144 16777216 接收窗口尺寸:• 最小值4KB• 默认值256KB• 最大值16MB net.ipv4.tcp_wmem 4096 262144 16777216 发送窗口尺寸:• 最小值4KB• 默认值256KB• 最大值16MB 查看当前内核配置: sysctl -e fs.file-max fs.aio-max-nr \ net.core.rmem_default net.core.wmem_default \ net.core.rmem_max net.core.wmem_max \ net.ipv4.tcp_rmem net.ipv4.tcp_wmem 2>/dev/nulll ...