사건 보고서 ~ 부제:네트워크가 갑자기 멈췄다. ~
2024년 8월 14일 14시 40분 경
본래 있는 사무실이 아닌 다른 층의 사무실에서 업무를 하고 있었습니다.
업무라 해도 특별히 뭔가 개발을 하는게 아니라, 개발 환경 세팅입니다만...
그런 와중에 문득 본래 있는 사무실 전체 인원이 메신저에서 로그아웃되어 있다는 소리를 들었습니다.
그래서 바로 경영팀에 아는 사람에게 연락을 했습니다.
"무슨 일 있나요?"
"큰일 났어요 주임님 갑자기 인터넷이 안되요"
위기감을 느끼고 곧바로 본래 있는 사무실이 있는 층으로 갔습니다.
그리고 침착하게 현관에 있는 네트워크 단자함 그리고 딱 대각선으로 이어진 곳에 있는 방화벽을 둘러보았습니다.
누군가 건든 흔적도, 뭔가 바뀐 느낌은 없었습니다.
한 10분 둘러보다가 이건 도저히 혼자서 할 수 없겠다 느껴, 건물 네트워크를 전담하는 업체에 연락했습니다.
"혹시 단자함에 있는 공유기 설정 문제 아닌가요?"
"공유기요...?(그런거 없는데..?) 확인해 볼게요. 그리고 혹시 모르니 공유기 몇 개 챙겨올게요."
"네, 그렇게 해주세요 곧바로 사람 보내드릴게요"
"네"
우리 회사는 공유기가 딱히 없는데.. 무슨 소리지? 스위칭 허브만 있는데..
일단 되는대로 기사님이 오시기 전에 공유기랑 허브를 챙겨뒀습니다.
기다리다가 혹시 그냥 재부팅하면 되는거아냐? 스위칭 허브를 껐다가 키니 몇 분정도 네트워크가 정상 작동하다가 다시 작동하지 않았습니다.
"흐으으으으음..........."
얼마 지나지 않아 기사님이 오셨습니다. 먼저 사전 설명을 해드렸습니다.
"저희가 좀 특이하게 네트워크를 구성하고 있어요."
말을 이었습니다.
"네트워크 선이 먼저 바닥 포트로 가고, 거기서 안랩 방화벽을 통해서 나와 다시 바닥 포트에서 현관에 네트워크 단자함으로 보내요... 그 다음에 거기서 스위칭 허브를 통해 나눠써요"
그러자 뭔가 이상한 소리를 들었다는 듯이 기사님은 읊조렸습니다.
"그럴리가 없는데, 그게 동작이 되셨나요..?"
"네 몇 개월을 이렇게 했는걸요."
"저희는 공유기 같은 것으로 고정된 외부 아이피를 지정해줘야 사용할 수 있거든요?"
"네..? 그런가요? 그런데 공유기는 없는데.. 혹시 안랩 장비가 그런 역할을 하는 것은 아닐까요?"
"저도 잘 모르겠어요. 저도 모르는 장비라서요"
서로 인터넷 검색...
찾아보니 안랩 방화벽 장비가 공유기처럼 네트워크 설정을 하는 것임을 알 수 있었습니다.
문득 예전에 처음 방화벽 장비 세팅할 때, 외부 업체에서 방화벽에 아이피랑 게이트웨이를 설정해준 기억이 났습니다.
"맞아요. 예전에 외부 아이피랑 게이트웨이를 방화벽에 입력했던 기억이 있어요."
이제 원인을 찾기 시작했습니다.
기사님은 먼저 안랩 장비 쪽을 손대기 시작했습니다. 공유기를 하나 가져다가 방화벽을 거치지 않고서 동작시키니 잘 되다가... 곧 멈췄습니다.
"혹시 단자쪽 아닐까요? 아까 껐다가 키니까 잠깐이지만 되더라구요."
"그럼 허브쪽이 문제일수도 있겠네요. 다른 허브 좀 가져다 주실래요"
"네"
허브를 모아 전달하고, 기존 스위치 허브에 있는 선을 다른 허브 2개에 연결했습니다.
네트워크 - 허브 - 허브 이런 구조로요
"근데 허브에 허브 이을 때, 네트워크가 안 되요. 이 허브도 고장난 것 일수도 있어요"
그래서 새 허브를 가져다 드렸고, 다행히 문제없이 일단락 되어 기사님은 배웅해 드렸습니다.
시간이 16시 30분쯤 될 무렵이었습니다.
얼마 지나지 않아 네트워크가 다시 멈췄습니다.
이미 기사님은 가셨는데, 이유가 뭐지...?
저는 기사님은 다시 호출하기 보다, 가설을 세워보기로 했습니다.
'안랩 장비 쪽은 문제 없을 것 같아...'
일단 네트워크 단자에서 허브에 연결된 모든 선을 제거했습니다.
그리고 선 하나 연결하고, 해당 부서로 가서 확인하는 작업을 했습니다.
이상하게 네트워크 단자함 V라인에 있는 선을 꼽을 때, 전체 라인이 멈추는 현상이 다시 나타났습니다. 저는 여기서 가설1을 세웠습니다.
가설1
V라인 전체가 문제 있는 것이 아닐까?
이 전제로 V라인은 배제하고 D라인에 있는 네트워크만 연결했습니다.
다행히 정상 동작. 이 가설이 맞는 듯한 기분이었습니다.
그러나 V15 포트를 스위칭 허브에 연결했을 때, 네트워크 전체가 정상 동작했습니다.
가설1은 원인이 아니었습니다.
곧바로 다른 가설을 세웠습니다.
가설2
혹시 특정 컴퓨터들의 네트워크 설정 문제가 아닐까?
이사도 있었고, 자리 이동도 근래 많았으니까...
몇 대의 컴퓨터를 선별해서 조사해봤지만 딱히 문제되는 설정은 없었습니다.
가설2도 원인이 아니었습니다.
다른 측면으로 가설을 세워봤습니다. 원인을 찾는게 아니라, 의심했던 부분 기존 스위칭 허브가 정말 문제일까?
가설3
가만보니까 네트워크 단자함 스위칭허브 문제가 아니라 다른게 문제같아
정상 동작을 확인한 선을 기존 스위칭 허브로 옮겨보니 정상동작했습니다.
원인은 못 찾았지만, 오진은 찾아낼 수 있었습니다.
그럼...뭐지??
다시 하나 하나 꼽아본 결과 문제가 되는 라인은 V라인에 있는 2개였습니다.
2 라인을 제외하고 나머지를 기존 스위칭 허브에 연결했습니다. 여기까지는 정상동작이었습니다.
가설4?
그럼 저 자리들이 뭔가 문제가 있는거네?
대부분 바닥 포트 - 허브 - 허브 이렇게 연결되어 있으니,
모든 선을 다 제거하고 다시 하나하나 연결해보자.
모두들 퇴근하고 이미 시간은 19시가 넘어갔습니다.
시간은 들었지만, 컴퓨터 4대에 ping 외부.아이피.주소.1 -t 명령 쳐두고서 어떤 변화가 있는지 보면서 선을 하나 하나 연결하면서 ping을 보았습니다.
이전에 네트워크가 되지 않을 때는 ping을 보내도 보낼 수 없었기 때문입니다.
선 하나, 선 하나 연결했을 때 특정 선 연결하면 네트워크가 멈추는 (ping을 주고 받을 수 없는) 사실을 발견했습니다.
그것은 크게 2분류였습니다.
랜선이 손상되어 있다.
허브 - 허브끼리 꼽던가 허브에 랜선 양쪽을 다 연결했다.
찾아보니 2번은 네트워크 루프라는 것이었습니다.
이런 현상이 있던 랜선을 전부 제거하니 드디어 정상 동작 했습니다.
딱 한 곳 빼고요...
다 마무리되어 드디어 퇴근이로구나 신나하는데...
회의실 네트워크가 먹통이었습니다.
회사에서 유일하게 외부망과 내부망을 동시에 쓰는 곳으로 둘 다 되지 않았습니다.
아까 확인할 때는 되었는데... 선을 계속 번갈아 이거 저거 끼우니 안되더군요...
그래서 공유기에 설정하듯이 pc에 설정하고, 사설 ip도 지정했습니다.
뭔가 충돌이 있었는지 이렇게하니 내부/외부망은 정상동작했습니다.
이제 정말 다 끝나가나? 하지만 이상하게 외부망은 네트워크 장비에 연결하니 인터넷 자체가 없는 것으로 취급받았습니다...
시간을 보니 21시 30분 경이었습니다.
일단 지금 상태로는 내부망이 정상 동작하는 것을 확인했고, 업무도 이 망을 쓰니 우선 마무리 짓고, 대표님께 보고드렸습니다.
다만 의문인 점은 누구도 그 무엇도 건들지 않았다 했는데, 왜 정상 동작하던 네트워크가 갑자기 먹통이 된 것 인지 여전히 모르겠습니다.
뭔가 했는데, 뭔가 한 지를 모르는 경우일 수도 있으니 그려러니 했습니다.
저조차도 이런 조치가 실제로 맞는지 확인할 수 없기도 했습니다.
뭔가 모르는 건 맞는데 뭘 모르는지는 정확히 모르겠다.
이렇게 생각하니 의기소침합니다.
다만, 늦었기에 여기에서 마무리 지었습니다.
나머지는 금요일에 알 수 있겠지요.
부디 해결이 잘 되었기를 바랍니다.
그리고 부디 대표님께서 전문 인프라 담당자를 빠르게 채용하기를 바랄 뿐입니다.
금요일에 모든 것이 정상 동작하기를...