사이버 범죄에 Claude AI를 악용하려는 해커의 시도를 막은 앤트로피

앤트로픽은 수요일 자사의 클로드 AI 시스템을 오용하여 피싱 이메일을 작성하고 악성 코드를 생성하며 안전 필터를 우회하려는 해커를 탐지하고 차단했다고 밝혔습니다.

보고서에 발표된 이 회사의 연구 결과는 AI 도구가 사이버 범죄에 점점 더 많이 악용되고 있다는 우려가 커지면서 기술 기업과 규제 당국이 기술 확산에 따라 안전장치를 강화해야 한다는 요구를 강화하고 있음을 강조합니다.

앤트로픽은 보고서를 통해 내부 시스템이 공격을 차단했으며, 공격자들이 클라우드를 이용해 유해한 콘텐츠를 제작하려고 시도했던 사례 연구를 공유하여 다른 사람들이 위험성을 이해할 수 있도록 돕고 있다고 밝혔습니다.

이 보고서에서는 맞춤형 피싱 이메일 초안을 작성하고, 악성 코드 스니펫을 작성 또는 수정하고, 반복적인 프롬프트를 통해 안전 장치를 우회하는 데 Claude를 사용하려는 시도를 예로 들었습니다.

또한 설득력 있는 게시물을 대규모로 생성하고 단계별 지침을 통해 저숙련 해커를 도와 영향력 있는 캠페인을 스크립팅하려는 노력도 설명했습니다.

아마존닷컴 AMZN와 알파벳 GOOG의 지원을 받는 이 회사는 IP나 프롬프트와 같은 기술적 지표는 공개하지 않았지만, 해당 활동을 감지한 후 관련 계정을 금지하고 필터를 강화했다고 말했습니다.

전문가들은 범죄자들이 사기를 더욱 그럴듯하게 만들고 해킹 시도를 가속화하기 위해 점점 더 AI에 의존하고 있다고 말합니다. 이러한 도구는 사실적인 피싱 메시지를 작성하고 멀웨어 개발의 일부를 자동화하며 잠재적으로 공격 계획에 도움을 줄 수 있습니다.

보안 연구원들은 AI 모델이 더욱 강력해짐에 따라 기업과 정부가 신속하게 대처하지 않으면 오용의 위험이 커질 것이라고 경고합니다.

앤트로픽은 정기적인 테스트와 외부 검토를 포함한 엄격한 안전 관행을 따르고 있으며, 주요 위협을 발견하면 보고서를 계속 발표할 계획이라고 밝혔습니다.

마이크로소프트 MSFT와 소프트뱅크의 지원을 받는 9984 오픈AI와 구글도 자사의 AI 모델이 해킹이나 사기에 악용될 수 있다는 우려로 비슷한 조사를 받았으며, 더 강력한 안전장치가 필요하다는 요구가 제기되고 있습니다.

유럽연합은 인공지능 법안을 추진하고, 미국은 주요 개발자들의 자발적인 안전 약속을 촉구하는 등 각국 정부도 이 기술을 규제하기 위해 움직이고 있습니다.