QA 관점에서 보는 에이전트형 SDLC

Stack Overflow Blog에 공개된 이 글은 특정 개발 도구 하나의 출시 소식이라기보다, AI 에이전트를 소프트웨어 개발 생명주기 전반에 넣을 때 QA 엔지니어링 사고가 왜 필요한지를 다룬 팟캐스트 소개에 가깝다. 대화의 중심은 Motorola Solutions의 테스트 엔지니어링 시니어 매니저 Suneet Malhotra이며, MCP를 활용한 엔드투엔드 에이전트형 SDLC 파이프라인, 여러 LLM 심판 모델의 평가 일치도, 설계 직후 요구사항을 보강하는 방식이 언급된다.

개인 개발자, 학생, 연구자, 개발팀이 이 내용을 볼 때 핵심은 “AI가 개발을 대신한다”가 아니다. 요구사항, 설계, 구현, 테스트, 평가를 AI 에이전트에게 나누어 맡길수록 어느 단계에서 품질을 확인할지 더 명확해야 한다는 점이다. 특히 요구사항이 애매한 상태에서 에이전트에게 구현과 테스트를 맡기면, 결과물은 빠르게 나올 수 있지만 잘못된 전제를 빠르게 확산시킬 수도 있다.

기능 소개보다 먼저 봐야 할 변화

이 글에서 눈에 띄는 변화는 개발 흐름의 시작점을 QA 쪽으로 당기는 관점이다. 보통 QA는 구현 이후 테스트 단계에서 떠올리기 쉽지만, 여기서는 설계가 끝난 직후 요구사항을 더 풍부하게 만드는 단계를 두는 방식이 소개된다. 요구사항을 명확히 만든 뒤 에이전트가 코드를 쓰고 테스트를 만들게 해야, 이후 단계의 자동화가 의미를 가진다는 뜻이다.

따라서 이 주제는 단순히 MCP를 붙이거나 LLM 평가자를 추가하는 기술 선택 문제가 아니다. 어떤 요구사항을 입력으로 삼을지, 에이전트가 만든 결과를 누가 검토할지, 여러 모델의 판단이 서로 다를 때 어떤 기준으로 결론을 낼지가 함께 정해져야 한다.

개발자가 바로 확인할 지점

  • 요구사항 보강 단계: 설계 직후 기능 조건, 예외 상황, 승인 기준, 실패 조건을 문서화할 수 있는지 확인한다.
  • MCP 적용 범위: 에이전트가 접근할 수 있는 저장소, 이슈, 문서, 테스트 환경의 권한을 좁게 설정할 수 있는지 본다.
  • LLM 평가 방식: 한 모델의 판단만 신뢰하지 않고, 여러 평가자의 일치도를 확인할 수 있는 구조인지 따진다.
  • 테스트 자동화 연결: 에이전트가 만든 코드와 테스트가 기존 CI/CD, 리뷰, 배포 절차 안에서 검증되는지 확인한다.
  • 되돌리기 기준: 에이전트가 잘못된 요구사항을 확대했을 때 사람이 어느 지점에서 중단하고 수정할 수 있는지 정한다.

Cohen’s kappa가 시사하는 점

참고 텍스트에는 여러 LLM을 심판처럼 사용하고 Cohen’s kappa로 평가한다는 내용이 나온다. Cohen’s kappa는 평가자 사이의 일치도를 보는 지표로 알려져 있다. 여기서 중요한 점은 특정 수치가 아니라 “AI 평가도 평가해야 한다”는 태도다. LLM이 테스트 결과, 요구사항 충족 여부, 코드 품질을 판정한다면 그 판정 자체가 얼마나 일관적인지 확인해야 한다.

개발자가 실제로 적용할 때는 모델 이름이나 점수만 보지 말고, 같은 입력에 대해 여러 평가자가 비슷한 결론을 내리는지, 불일치가 난 항목이 어떤 유형인지 기록하는 편이 낫다. 예를 들어 보안 요구사항, 접근성 요구사항, 성능 조건처럼 모호하게 적기 쉬운 기준에서 평가가 갈린다면, 모델 교체보다 요구사항 문장부터 고치는 것이 우선일 수 있다.

학생과 연구자에게 의미 있는 부분

학생이나 연구자에게는 이 글이 AI 코딩 도구 사용법보다 연구 설계의 힌트가 될 수 있다. 에이전트가 만든 산출물을 평가할 때 단일 성공 사례만 제시하면 설득력이 약하다. 요구사항 보강 전후의 차이, 테스트 실패 유형, 모델 평가자 간 일치도, 사람이 개입한 지점 등을 함께 기록해야 재현 가능한 실험에 가까워진다.

다만 제공된 정보만으로는 GitHub 예제 코드의 라이선스, 실행 조건, 지원 언어, 비용 구조를 알 수 없다. 수업 과제나 연구 프로토타입에 가져오기 전에는 저장소의 라이선스, 의존성, 데이터 사용 조건, 실행 환경을 따로 확인해야 한다. 공개 코드가 있다는 사실만으로 상업적 사용이나 민감 데이터 처리에 적합하다고 볼 수는 없다.

개인 프로젝트에서 실험할 범위

사이드 프로젝트나 개인 서버에서는 전체 개발 흐름을 한 번에 에이전트형 파이프라인으로 바꾸기보다, 작고 반복적인 구간 하나를 고르는 편이 안전하다. 예를 들어 새 기능 요청을 받아 요구사항 목록과 테스트 케이스 초안을 만드는 단계부터 시작할 수 있다. 이때 에이전트가 생성한 내용을 그대로 적용하지 말고, 빠진 예외 조건과 잘못된 전제를 사람이 확인해야 한다.

두 번째 후보는 기존 버그 리포트를 바탕으로 재현 조건과 회귀 테스트 후보를 정리하는 작업이다. 이 작업은 코드 변경 전 단계라 위험이 상대적으로 낮고, 결과 품질을 사람이 비교하기 쉽다. 반대로 배포 자동 승인, 보안 설정 변경, 데이터 삭제처럼 되돌리기 어려운 작업은 에이전트에게 직접 맡기기 전에 별도 승인 단계를 두는 것이 좋다.

팀 환경에서 필요한 합의

팀에서 이 접근을 검토한다면 도구보다 책임 경계를 먼저 정해야 한다. 요구사항을 보강하는 에이전트, 코드를 작성하는 에이전트, 테스트를 만드는 에이전트, 결과를 평가하는 LLM 심판이 모두 들어오면 속도는 빨라질 수 있다. 그러나 산출물의 소유권과 승인권이 흐려지면 리뷰 품질은 오히려 떨어질 수 있다.

확인 항목 질문 적용 기준
권한 에이전트가 어떤 저장소, 문서, 이슈에 접근하는가? 최소 권한으로 시작하고, 쓰기 권한은 단계적으로 연다.
요구사항 설계 직후 보강할 항목이 정해져 있는가? 예외 조건, 수용 기준, 테스트 관점을 문서화한다.
평가 LLM 평가자의 판단을 다시 검증하는가? 불일치 사례를 모아 기준 문장을 수정한다.
비용 MCP, LLM 호출, CI 실행 비용이 증가하는가? 반복 시간 절감이 비용 증가보다 큰지 측정한다.
보안 업무 코드나 연구 데이터가 외부 모델로 이동하는가? 데이터 보존, 접근 로그, 조직 정책을 확인한 뒤 적용한다.

요구사항 보강을 먼저 실험하는 방식

  1. 이미 완료된 작은 기능 하나를 고른다.
  2. 기존 설계 문서나 이슈 설명을 에이전트에게 입력한다.
  3. 기능 조건, 예외 상황, 테스트 케이스 후보, 승인 기준을 분리해 출력하게 한다.
  4. 실제 구현에서 빠졌던 조건과 에이전트가 새로 제안한 조건을 비교한다.
  5. 쓸 만한 항목만 템플릿으로 남기고, 과장되거나 검증 불가능한 항목은 제거한다.

이 방식의 장점은 위험이 낮다는 것이다. 코드베이스를 직접 바꾸지 않고도 에이전트가 요구사항 이해에 도움을 주는지 확인할 수 있다. 결과가 좋다면 다음 단계로 테스트 케이스 초안 생성, 리뷰 체크리스트 생성, 회귀 테스트 후보 추천처럼 범위를 조금씩 넓힐 수 있다.

바로 도입하기 어려운 경우

조직의 보안 정책상 외부 LLM 사용이 제한되어 있거나, 프로젝트 요구사항이 아직 문서화되어 있지 않다면 에이전트형 SDLC를 바로 붙이기 어렵다. 특히 요구사항이 채팅 기록, 구두 합의, 개인 메모에 흩어져 있다면 에이전트는 그 빈칸을 추측으로 채울 가능성이 있다. 이 경우 먼저 이슈 템플릿, 설계 기록, 테스트 기준을 정리하는 작업이 필요하다.

또한 제공된 정보에는 구체적인 가격, 지원되는 MCP 서버 목록, 기업 계정 정책, 데이터 보존 방식이 포함되어 있지 않다. 따라서 업무 코드나 연구 데이터를 다루는 환경에서는 공식 문서, GitHub 저장소, 논문, 조직의 보안 기준을 함께 확인해야 한다. 확인되지 않은 조건을 전제로 파이프라인을 설계하면 나중에 비용이나 권한 문제로 흐름이 끊길 수 있다.

기존 도구와 비교할 때의 기준

이미 GitHub Actions, 테스트 자동화 도구, 코드 리뷰 봇, 문서 생성 도구를 쓰고 있다면 새 접근이 반드시 더 낫다고 볼 수 없다. 비교 기준은 “더 최신인가”가 아니라 “반복되는 판단을 줄이면서도 검증 가능성을 높이는가”여야 한다. 요구사항 보강 결과가 리뷰 시간을 줄이고, 테스트 누락을 줄이며, 평가 기준을 더 명확히 만든다면 검토 가치가 있다.

반대로 에이전트가 만든 산출물을 사람이 전부 다시 써야 한다면 자동화 효과는 낮다. LLM 평가자가 코드 품질을 그럴듯하게 설명하지만 실제 결함을 놓친다면, 평가 단계의 신뢰도도 낮게 봐야 한다. 에이전트형 SDLC는 사람의 책임을 없애는 구조가 아니라, 사람이 확인해야 할 지점을 더 앞쪽과 더 작은 단위로 옮기는 구조로 이해하는 편이 현실적이다.

적용 전에 남겨야 할 기준

  • 에이전트가 접근할 수 있는 데이터 범위와 금지할 데이터 범위를 구분한다.
  • 요구사항 보강 결과에서 반드시 사람이 승인할 항목을 정한다.
  • LLM 평가자가 서로 다른 결론을 낸 사례를 별도로 모은다.
  • 기존 테스트 실패율, 리뷰 수정 횟수, 배포 전 결함 수와 비교할 기준을 잡는다.
  • 비용, 실행 시간, 토큰 사용량처럼 반복 운영에 영향을 주는 항목을 측정한다.

출처와 검증

이 글은 Stack Overflow Blog의 2026년 8월 18일 공개 글과 제공된 참고 텍스트를 바탕으로 작성했다. 실제 적용 전에는 팟캐스트 본문, 연결된 GitHub 예제 코드, 관련 논문, 각 도구의 공식 문서에서 지원 범위와 라이선스, 보안 조건을 확인해야 한다.

Stack Overflow Blog: Building an agentic SDLC with a QA engineering mindset