Nutanix CE
Nutanix Community Edition
iso 파일 준비
Nutanix CE(Community Edition) iso 파일 다운로드
https://next.nutanix.com/discussion-forum-14/download-community-edition-38417
Installer ISO 밑의 주소 클릭
Nutanix 배포 (for VMware)
Network 생성
ESXi > 네트워킹 > 포트 그룹 추가
보안 3가지 모두 동의 선택
- 보안 > 비규칙 모드 > 동의
- 보안 > MAC 주소 변경 > 동의
- 보안 > 위조 전송 > 동의
VM 생성
Linux / CentOS 7 선택
cpu 설정
하드웨어 가상화 활성화
Hard disk 추가
하드 디스크 3개 필요 (최소 용량 때문에 용량도 맞춰야 함)
1. 32 GB (Hypervisor Boot Disk)
2. 200 GB (CVM Boot Disk)
3. 400 GB (Data Disk)
(40 GB 디스크는 실수로 추가한 것.. 없어도 된다)
네트워크 어댑터로 아까 생성한 네트워킹 선택
VM 옵션 설정
부팅 옵션 > 펌웨어
BIOS 선택 (EFI로 할 거면 보안 체크 해제)
VM 옵션 > 고급 > 구성 매개변수 > 구성 편집
disk.EnableUUID = TRUE
Nutanix Installer 설정
VM 실행
Hypervisor 선택
AHV (Nutanix의 Hypervisor) disk가 자동으로 선택되어 있다
disk 1(32GB) : Hypervisor Boot Disk
disk 2(200GB) : Data Disk
disk 3(400GB) : CVM Boot Disk
(선택 안 되어 있을 경우 키보드로 H, D, C 입력하면 선택된다)
Host network 입력
CVM (관리 VM) network 입력
EULA 동의
맨 아래까지 다 본 뒤에 I accept the end user license agreement 선택
(맨 아래까지 다 안 보면 진행 불가)
Start 선택
설치 진행
reboot this machine 뜨면
Y 입력
reboot 된다
Nutanix 접속
AHV 접속
AHV default password
user : root
password : nutanix/4u
CVM 확인
virsh list
CVM 접속
CVM은 바로 putty로 접속 못 하고 AHV에서 ssh로 접속해야한다
CVM default password
user : nutanix
password : nutanix/4u
CVM은 ip가 2개 할당되어 있다
installer에서 직접 설정한 192.168.1.17
default로 박혀 있는 192.168.5.254
Node 실행 확인
CVM에서 genesis status
(위의 화면처럼 출력 안 되면 genesis stop 했다가 다시 genesis start 해보고 zookeeper_init stop 했다가 다시 zookeeper_init start 해보고 반복하다보면 된다)
nutanix@NTNX-f811445a-A-CVM:192.168.1.17:~$ genesis status
2025-02-03 15:01:56.894189: Services running on this node:
acropolis: [90080, 91009, 91010, 95095]
alert_manager: [86128, 88446, 88447, 88847]
anduril: [132249, 132690, 132691, 132694, 132722]
aplos: [106392, 107933, 107934, 107935]
aplos_engine: [102158, 103159, 103160, 103161]
arithmos: [88690, 89647, 89648, 89673]
athena: [79970, 80118, 80119, 80120]
cassandra: [72944, 73958, 73959, 74135, 75556]
castor: [91110, 92491, 92492, 92521, 92679]
catalog: [89594, 89853, 89854, 89855, 89866]
cerebro: [85038, 85232, 85233, 86217]
chronos: [85142, 85311, 85312, 85321]
cluster_config: [101829, 102666, 102667, 102670, 102710]
cluster_health: [115605, 116742, 117525, 117526, 117531, 117548, 117659, 117660, 117661, 117670, 117671, 117678, 117686, 117687, 117779, 117780, 117784, 117790, 117791, 117797, 117916, 117917, 117944, 117945, 117997, 117998, 118082, 118083, 126111, 126115, 126124, 126125, 126127, 126130, 126132, 126137, 126138, 126142, 126143, 126149, 126150, 126154, 126343, 126349]
curator: [85180, 85396, 85397, 86529]
delphi: [111112, 111851, 111852, 111853, 111883]
dynamic_ring_changer: [79579, 79748, 79749, 79761]
flow: [112318, 113507, 113508, 113509, 113533]
foundation: []
genesis: [59735, 59768, 59806, 59807]
go_ergon: [84167, 84993, 84994, 85012]
hera: [85366, 85774, 85775, 85778]
ikat_control_plane: [71599, 71768, 71769, 71770]
ikat_proxy: [66227, 66393, 66394, 66395]
insights_data_transfer: [82990, 84113, 84115, 84213, 84215, 84217, 84218, 84219, 84220]
insights_server: [79946, 80062, 80063, 80195]
lazan: [108662, 110324, 110325, 110326]
mantle: [80214, 80456, 80457, 80486]
mercury: [134579, 134664, 134665, 134674]
minerva_cvm: [100957, 101690, 101691, 101692]
narsil: [113863, 115097, 115098, 115100]
nutanix_guest_tools: [93149, 94193, 94194, 94280, 94406]
pithos: [79693, 79865, 79866, 79923]
placement_solver: [108182, 109319, 109320, 109321, 109336]
polaris: [109968, 110977, 110978, 111167]
prism: [85259, 85465, 85466, 85644, 89134, 89357]
scavenger: [66539, 66720, 66721, 66722]
secure_file_sync: [71684, 72300, 72301, 72303]
security_service: [111621, 112501, 112502, 112503]
ssl_terminator: [71660, 71922, 71923]
stargate: [81858, 82207, 82208, 82440, 82441]
sys_stat_collector: [71508, 71649, 71650, 71651]
uhura: [92251, 93157, 93158, 93994]
xmount: [66530, 66718, 66719, 66818]
xtrim: [114879, 115829, 115830, 115831]
zookeeper: [61840, 61899, 61900, 61901, 61910, 61928]
클러스터 생성
다중 노드 : cluster -s <cvm_ip_1>,<cvm_ip_2>,<cvm_ip_3> --dns_servers 1.1.1.1 create
단일 노드 : cluster -s <cvm_ip> --redundancy_factor=1 --dns_servers 1.1.1.1 create
해당 환경은 단일노드이므로 다음 명령어 사용
cluster -s 192.168.1.17 --redundancy_factor=1 create
서비스가 많아서 올라오는데 한참 걸린다
INFO MainThread cluster:2265 Waiting for response from 192.168.1.17
이렇게 뜨면 아직 올라오는 중이니 기다릴 것
다 올라오면 최하단에 이렇게 출력된다
클러스터 확인
nutanix@NTNX-f811445a-A-CVM:192.168.1.17:~$ cluster status
2025-02-03 06:11:51,323Z INFO MainThread zookeeper_session.py:136 Using multithreaded Zookeeper client library: 1
2025-02-03 06:11:51,327Z INFO MainThread zookeeper_session.py:248 Parsed cluster id: 7595883773749471860, cluster incarnation id: 1738558848002953
2025-02-03 06:11:51,328Z INFO MainThread zookeeper_session.py:270 cluster is attempting to connect to Zookeeper, host port list zk1:9876
2025-02-03 06:11:51,340Z INFO Dummy-1 zookeeper_session.py:840 ZK session establishment complete, sessionId=0x194ca308ba00323, negotiated timeout=20 secs
2025-02-03 06:11:51,343Z INFO MainThread cluster:3302 Executing action status on SVMs 192.168.1.17
2025-02-03 06:11:51,344Z INFO Dummy-2 zookeeper_session.py:941 Calling zookeeper_close and invalidating zhandle
The state of the cluster: start
Lockdown mode: Disabled
CVM: 192.168.1.17 Up, ZeusLeader
Xmount UP [66530, 66718, 66719, 66818]
IkatProxy UP [66227, 66393, 66394, 66395]
Zeus UP [61840, 61899, 61900, 61901, 61910, 61928]
Scavenger UP [66539, 66720, 66721, 66722]
SysStatCollector UP [71508, 71649, 71650, 71651]
IkatControlPlane UP [71599, 71768, 71769, 71770]
SSLTerminator UP [71660, 71922, 71923]
SecureFileSync UP [71684, 72300, 72301, 72303]
Medusa UP [72944, 73958, 73959, 74135, 75556]
DynamicRingChanger UP [79579, 79748, 79749, 79761]
Pithos UP [79693, 79865, 79866, 79923]
InsightsDB UP [79946, 80062, 80063, 80195]
Athena UP [79970, 80118, 80119, 80120]
Mercury UP [134579, 134664, 134665, 134674]
Mantle UP [80214, 80456, 80457, 80486]
VipMonitor UP [81078, 81079, 81080, 81081, 81094]
Stargate UP [81858, 82207, 82208, 82440, 82441]
InsightsDataTransfer UP [82990, 84113, 84115, 84213, 84215, 84217, 84218, 84219, 84220]
GoErgon UP [84167, 84993, 84994, 85012]
Cerebro UP [85038, 85232, 85233, 86217]
Chronos UP [85142, 85311, 85312, 85321]
Curator UP [85180, 85396, 85397, 86529]
Prism UP [85259, 85465, 85466, 85644, 89134, 89357]
Hera UP [85366, 85774, 85775, 85778]
AlertManager UP [86128, 88446, 88447, 88847]
Arithmos UP [88690, 89647, 89648, 89673]
Catalog UP [89594, 89853, 89854, 89855, 89866]
Acropolis UP [90080, 91009, 91010, 95095]
Castor UP [91110, 92491, 92492, 92521, 92679]
Uhura UP [92251, 93157, 93158, 93994]
NutanixGuestTools UP [93149, 94193, 94194, 94280, 94406]
MinervaCVM UP [100957, 101690, 101691, 101692]
ClusterConfig UP [101829, 102666, 102667, 102670, 102710]
APLOSEngine UP [102158, 103159, 103160, 103161]
APLOS UP [106392, 107933, 107934, 107935]
PlacementSolver UP [108182, 109319, 109320, 109321, 109336]
Lazan UP [108662, 110324, 110325, 110326]
Polaris UP [109968, 110977, 110978, 111167]
Delphi UP [111112, 111851, 111852, 111853, 111883]
Security UP [111621, 112501, 112502, 112503]
Flow UP [112318, 113507, 113508, 113509, 113533]
Anduril UP [132249, 132690, 132691, 132694, 132722]
Narsil UP [113863, 115097, 115098, 115100]
XTrim UP [114879, 115829, 115830, 115831]
ClusterHealth UP [115605, 116742, 117525, 117526, 117531, 117548, 117659, 117660, 117661, 117670, 117671, 117678, 117686, 117687, 117779, 117780, 117784, 117790, 117791, 117797, 117916, 117917, 117944, 117945, 117997, 117998, 118082, 118083, 126111, 126115, 126124, 126125, 126127, 126130, 126132, 126137, 126138, 126142, 126143, 126149, 126150, 126154, 126343, 126349]
2025-02-03 06:11:54,759Z INFO MainThread cluster:3465 Success!
클러스터 이름 설정
ncli cluster edit-params new-name=ohscluster
클러스터 DNS 서버 설정
ncli cluster add-to-name-servers servers="8.8.8.8"
클러스터 ntp 서버 설정
ncli cluster add-to-ntp-servers servers="192.168.1.120"
클러스터 타임존 설정
ncli cluster set-timezone timezone=Asia/Seoul
클러스터 프리즘 접속 ip 설정
ncli cluster set-external-ip-address external-ip-address="192.168.1.14"
프리즘 접속
프리즘 접속
https://192.168.1.14:9440
(위에서 외부 아이피 입력한 것으로 접속)
Default 패스워드
user : admin
password : nutanix/4u
접속 후 password 변경
Idpa_12345로 변경
NEXT 계정 접속
뉴타닉스 계정입력
없으면 Create account
접속 완료
genesis status 시 노드가 없는 에러 해결
cvm 접속 후
서비스 실행 확인 시 실행 중인 노드가 없는 것으로 나온다
genesis status
genesis start 하자 에러 발생
에러 로그
Not starting Genesis because config_home_dir script did not complete execution successfully. Look for errors in /tmp/config_home_dir.log.
Rerun the script as root or manually fix the issues and delete file /.config_home_dir_marker.
root 유저로 config_home_dir 스크립트 재수행하라는 에러 로그 (/tmp/config_home_dir.log 파일은 안에 내용이 없다)
root 유저로 접속 후 config_home_dir 스크립트 찾기
su -
find / -name "config_home_dir"
cd /home/nutanix/data/installer/el7.3-release-ce-2020.09.16-stable-d4fc219b73b4181935a3a19465eb922313fc735f/bin/
./config_home_dir
에러 로그
2025-01-23 02:15:12,831Z ERROR config_home_dir:894 Failed to modify group account membership changes, ret 1, stdout , stderr usermod: existing lock file /etc/shadow.lock without a PID
usermod: cannot lock /etc/shadow; try again later.
2025-01-23 02:15:12,832Z CRITICAL config_home_dir:940 Could not update group accounts membership settings
usermod: cannot lock /etc/shadow; try again later.
/etc/shadow.lock 파일 찾기
ls -lsrt /etc | grep shadow
shadow.lock 파일 제거
(복사본 빼놓기)
다시 스크립트 수행하면 된다
/home/nutanix/data/installer/el7.3-release-ce-2020.09.16-stable-d4fc219b73b4181935a3a19465eb922313fc735f/bin/config_home_dir
이제 다시 nutanix 계정으로 접속 후 genesis를 켜면 된다
genesis start
genesis status
zookeeper 안 켜질 시 에러 해결
상황 파악
cluster start 시 zookeeper 연결 부분이 안 된다
/home/nutanix/config/zookeeper/zoo.cfg 파일 확인
clientPort로 9876 사용 중
ps -ef | grep zookeeper
확인해도 없고
netstat -an | grep 9876
확인해도 안 나온다
문제 해결
sestatus 입력 시 selinux가 켜져 있다
selinux 끄기
(nutanix 계정이기 때문에 반드시 sudo 필요)
해결 완료
zookeeper 시작
zookeeper_init start
ps -ef | grep zookeeper 하면 나온다
netstat -ntlp | grep 9876
해도 이제 결과가 나온다
참고 : https://virtualhive.tistory.com/895
참고 : https://vmik.net/2023/04/21/nutanix-ce20-install-esxi-2023/
참고 : https://polarclouds.co.uk/nested-nutanix-ce-deployment/