크롤러 설계부터 장애 대응까지, AI에게 맡긴다면

가장 먼저 바꾼 건 사람만 고칠 수 있던 구조였습니다. 예전엔 사이트마다 프로그램 안에 수집 방법이 깊이 박혀 있어서, 바뀔 때마다 개발자가 코드를 열어야 했죠. 이걸 코드 밖의 '설정값'으로 빼냈습니다. 이제 무엇을 어떻게 가져올지는 프로그램이 아니라 설정에서 정해집니다. AI가 건드려도 안전한 자리를 먼저 만들어 둔 셈입니다.

이 시스템은 한 대가 아니라 세 대의 서버에 나뉘어 돕니다. 가장 강한 중심 서버가 수집기 28개와 함께 알림·자가복구·모니터링을 도맡고, 나머지 두 서버가 각각 22개·20개의 수집기를 돌리며 결과를 중심 서버로 보냅니다. 한 서버에 문제가 생겨도 전체가 멈추지 않게 역할을 나눠 둔 구조입니다.

그 위에 '스스로 고치는' 흐름을 얹었습니다. 어떤 사이트에서 수집이 연달아(기본 다섯 번) 빈손으로 돌아오면, 시스템은 그걸 고장 신호로 보고 운영팀 채널에 'OO 사이트 수집이 막혔다'고 먼저 알립니다. 걸리는 시간은 보통 몇 분 안쪽. 사람이 눈치채기도 전에 시스템이 먼저 손을 든 셈이죠.

알림만 띄우고 끝이 아닙니다. AI는 짐작으로 고치지 않습니다. 직접 그 사이트에 들어가 화면이 어떻게 바뀌었는지, 데이터를 더 빠르고 정확하게 받아올 길은 없는지 살펴보고, 가장 나은 방법으로 수집 설정을 다시 맞춥니다. 사람 담당자가 장애 때 하던 일을 똑같이 하되, 사람을 기다리지 않고 새벽이든 주말이든 바로 시작한다는 게 다른 점이죠.

여기서 가장 신경 쓴 건, AI가 고친 걸 함부로 운영에 반영하지 않게 막는 일이었습니다. AI가 만든 수정안은 먼저 자동 검사를 통과해야 합니다. 통과하면 '이렇게 고쳤습니다' 하고 검토 요청만 올리지, 운영에 바로 반영하지 않아요. 감지부터 검토 요청까지 사람 손 하나 없이 가는 완전 자동 방식과, 운영자가 버튼 하나로 시작하는 반자동 방식을 모두 갖췄습니다. 어느 쪽이든 최종 반영은 사람이 결정합니다. 고치다 실패가 거듭되면 정해진 횟수에서 멈추고 사람을 부릅니다.

한 가지 더. AI에게 권한을 줬다고 다 맡긴 건 아닙니다. AI가 자율적으로 움직일수록 '무엇을 어디까지' 건드릴 수 있는지 울타리부터 쳐야 한다는 게 요즘 권장되는 방식인데, 그대로 따랐습니다. AI가 손댈 수 있는 건 사이트별 수집 설정뿐이고, 시스템의 핵심과 중요한 정보는 아예 접근하지 못하게 잠가 뒀습니다. 사이트에서 긁어온 내용은 '명령'이 아니라 '읽을거리'로만 취급해서, 페이지에 '이전 지시를 무시하라' 같은 게 숨어 있어도 AI가 휘둘리지 않습니다. 그리고 누가 언제 무엇을 고쳤고 누가 승인했는지를 전부 기록으로 남겨, 나중에 그대로 되짚을 수 있게 했습니다.

눈에 보이지 않는 밑바닥도 같이 손봤습니다. 오래되고 느리던 내부 구조를 요즘 방식으로 싹 바꿔, 같은 서버로 더 많은 사이트를 더 빠르게 처리하게 만들었습니다. 예전엔 프로그램이 멈추면 사람이 일일이 다시 켰지만, 이제는 멈추는 즉시 시스템이 알아서 다시 살립니다. 새 서버를 더하거나 사이트를 늘릴 때도 설정만 바꾸면 알아서 맞춰지고요. 그동안 무슨 일이 있었는지는 현황판이 사이트별로 다 보여 줍니다.

여기까지가 '잘 돌게' 만드는 일이었다면, 그다음은 '잘 돌고 있는지 한눈에 보는' 일이었습니다. 수십 개 프로그램이 쏟아내는 활동 기록을 한곳에 모아, 문제가 될 만한 신호만 따로 추려 봅니다. 어딘가 이상하면 곧장 어느 사이트에서 무슨 문제가 났는지 원본 기록까지 펼쳐 짚어 냅니다.

마지막으로, AI가 이 시스템을 어떻게 다뤄야 하는지 미리 규칙으로 정리해 뒀습니다. 사이트마다 특이사항과 과거 변경 이력을 적어 두고, 자주 하는 일(사이트 분석·수정·새 사이트 추가·전체 점검)을 명령 한마디로 부를 수 있게 묶었죠. 새 사이트를 붙일 때도 'OO 추가' 한마디면, AI가 사이트를 찾아 확인받고 설정·검사·문서·검토 요청까지 차려 둔 뒤, 꺼 둔 상태로 사람의 최종 승인을 기다립니다.