안녕하세요.
현재 게시판 공지사항 내용을 위반한 댓글과 게시글이 다량 작성되고 있습니다.
미리 게시판 시작 전에 인공지능을 개발해서 이 유저게시판을 관리를 하겠다고 규칙과 함께 공지드렸습니다.
하지만 현재 정말 곳곳에 쏟아지듯이 글과 댓글로 작성되고 있어서 인공지능에 의한 처리가 지연되고 있습니다.
현재 게시판 관리 인원은 저 한명이 정말 맞으며 저는 일반 이용자로 혼자서 모든 관리를 진행해야합니다.
또한 인공지능을 사용하는 것이 아니라 제가 직접 관리하는게 아니냐는 얘기를 다량 주셨습니다.
현재 게시판은 삭제된 게시글이나 댓글의 사유를 공지에서 분석한 후 모든 사유를 쪽지로 전달 드리고 있습니다.
현재 인공지능에 의해 처리되고 있는 오늘 하루 댓글 및 게시글을 모두 합치면 약 2천건에 달합니다.
저 혼자서는 해당 건들을 물리적으로 실시간으로 감당할 수 없음을 다시 한 번 안내드립니다.
또한 인공지능을 사용하고 있을리 없다라던지, 사진은 인식할 수 없다, 환각은 발생하지 않는단 내용을 보내 주셨습니다.
그래서 이번에 개발한 인공지능 관리자의 실시간 처리 모습과 재현 실행 가능한 소스코드까지 모두 공개 드립니다.
먼저 소스코드 공개 전에 인공지능 관리자가 동작 하는 모습을 공유드리겠습니다.
(잠시 이 모습을 촬영하는 과정에서 일부 민감한 내용은 배제하기 위해 관리 서버를
잠시 종료했던 점, 그 과정에서 일부 삭제 사유 쪽지 전달이 유실된 점 사과드립니다.)
현재 게시글의 삭제나 댓글의 삭제 시 인공지능이 판별 및 처리 후 현재 당사자분들에게만 쪽지로 해당 사유를 공유드리고 있습니다.
해당 인공지능 관리자 프로젝트는 Open A.I 사의 LLM 인 GPT-4 의 Custom Assistant 를 사용 중입니다.
게시판이 열린 것은 토요일이였지만, 열린 것을 제가 인지 하였을 때가 일요일이였고 따라서 개발하는데 하루 밖에 시간이 없었음을 양해 부탁드립니다.
개발이 이렇게 바빠진 것은 제 원래 계획은 오픈 초기엔 반응이 거의 없을 것이라 생각해서 수동으로 GPT의 답변을 붙여넣어서 드리려 했습니다.
하지만 규칙글을 작성하고 시간이 지나지 않아 순식 간에 1인 관리로는 감당할 수 없을 량의 공지사항 위반 글들이 작성되기 시작했습니다.
따라서 일요일 오후 2시부터 시작해서 월요일에 급하게 회사에 월차를 쓰고, 코드 작성을 시작해서 월요일 2시 중 부터 A.I 관리자를 가동을 하였습니다.
(많은 시간을 들여서 작성된 프로젝트가 아님에 따라 프로젝트 코드 퀄리티가 좋지 못함을 미리 양해 부탁드립니다.)
인공지능 관리자 개발 프로젝트는 "작은 인터넷 속 목소리도 보호하는 사이버 방파제" 라는 이름에서 테트라포드로 작명되었습니다.
https://github.com/NoPenguinsInTheArtic/Tetrapod
시스템 내부에서는 인공지능에게 분류를 맡길 게시글들을
루리웹에서 크롤링 후 그 내용을 단복호화 해시처리하여 하루 동안 캐싱하는데,
오늘 오후부터 21시까지 검사가 완료된 처리량은 2155건에 해당합니다.
글 작성자가 정상적 게시글 작성 후 이후 위변조하여 분류를 회피하는 경우가 있었고,
매일 서버가 다시한 번 자동으로 켜지면서 크롤링 된 데이터가 자동파기 되는 구조로 설계되어 있습니다.
당연하게도 개인정보는 권한이 없어 열람할 수 없으며,
인공지능이 크롤링을 통해 게시판 상 공개되있는 정보만을 분류에만 활용하는 구조입니다.
크롤링 과정에서 루리웹 서버에 부담을 최소화하기 위한 사항도 적용되었는데
각 과정에서 딜레이를 최대한 적용하였으며, 이로 인해 분명 방금 글이 올라왔는데
처리는 한참 뒤에 발생하는 것 같은 현상이 발생하게됩니다.
저는 시스템 개발 및 LLM 응용 서비스 관련 현업자이며, 미리 처리 규모를 모델로 그려서 예측해보기도 했지만,
솔직히 루리웹이 대단한 트래픽을 가질 것이라고 생각하긴 했어도...
현 공지사항 위반 규모는 제 초기 예상에서 압도적으로 벗어난 것이 맞습니다.
또한 구조를 간단하게 가져가려 했으나 초반에 정상적인 게시글을 작성하신 다음, 이후에 게시글 내용을 변형하는 형태가 등장하였고,
그 외에도 노이즈 이미지를 이용한 영문 프롬프트 주입 시도 등 다양한 사이버 불링을 가하는 분들도 계셨습니다.
그래서 초기 예정에 없었던 구성을 더하게 되었으며, Hash 값 검증과, 파일 업로드 전 webp 노이즈 무효가 적용되는 등 내부 구조가 복잡해졌습니다.
저 또한 북유게 분들이 이번에 루리웹 대표님들에게 이메일을 보내서 답변을 받으신 것을 보았습니다.
이에 저 또한 설명드리자면 현재 더불어민주당 유저게시판은 제가 대표님들께 간곡하게 부탁드려서 만들어지게된 것입니다.
최초에 더불어민주당 유저게시판 생성을 요청하게 된 계기이자 증거는 원래 북유게 게시글로 작성했던 제 게시글에 있습니다.
밤중에 술 마시고 티비보다 두서 없이 작성했던 글이라 제가 쓴 글이나 댓글 내용이 정제되어 있지 않은 점 간곡히 양해 부탁드립니다.
https://bbs.ruliweb.com/community/board/300148/read/37139242
루리웹 자체나 정치 유게 북유게 게시판은 공식적으로는 어떠한 정치 성향도 지지하지 않는 것이 맞습니다.
하지만 정치 관련 글들은 싸움이 일어나기 정말 쉬운 주제일 뿐더러 서로 다른 정치 성향의 지지자들이 같은 게시판을 쓰는 것 또한 쉽지 않습니다.
그래서 처음엔 유게 잡담게시판에 갔다가 (결국 이것도 정치 글 아니냐 북유게로 가라) 라는 답장을 듣고 빠르게 다시 북유게에 게시글을 작성 했었습니다.
거기서 북유게 분들께서 먼저 저에게 3분 정도가 그런 상황이면 제가 따로 유저 게시판을 따로 만들어보는게 좋지 않겠냐고 답을 주셨었습니다.
저는 북유게 분들에게 악감정이 있지도 않고, 그냥 저랑 같은 성향의 아직 남아있는 민주당 지지 성향자?들과 얘기를 나누고 싶었습니다.
하지만 이제는 민주당에서 탈당해서 다른 신당을 만드신 타 대표님을 지지하는 분들이 민주당에서 탈당했다라는 내용으로,
모두 의기투합하고 계신 분들 사이에서 돌려 말하는 형태가 아닌 민주당 대표가 좋다라던지
그런 얘기를 제가 한다면 그건 해당 지지자 분들에게 굉장한 민폐일 뿐더러 북유게 입장에선 굉장한 분쟁행위로 보일 것입니다.
그래서 고민하다가 북유게에 하소연을 했었고
거기서 유저게시판을 만들라는 답장을 받았었고
그래서 루리웹 대표님들께 간곡히 요청드렸습니다.
제가 인공지능 기술을 이용해서 혐오 표현이나 비난을 없에보는 형태로 관리를 해볼테니,
한번 허용해주실 수는 없으신지, 다소 안 받아들이시기 어려운 수준으로 간곡히 요청을 드렸습니다.
그렇게 이번 주말에 루리웹에 더불어민주당 유저게시판이 생성되게 되었습니다.
게시판 목적은 커뮤니티가 새 정치 신당 정치 성향이 주류로 얘기할 수 있는 것이 아닌,
사이트 내에서 사이버 불링의 표적이 되었던 더불어민주당 지지자들이
가끔은 가볍게 또는 어쩔땐 무겁게 글들을 나눌 수 있는 작은 유저게시판을 만드는 것이 목표였습니다.
가장 간단한 건 북유게가 모든 정치 입장을 배려하게끔 말머리도 추가되고
사이버 불링을 차단하게 하거나 타 당 지지자 간 분쟁이 있을 수 있는 글들도
서로 볼 수 없게 바뀐다면 가장 좋을 것입니다.
하지만 그러려면 인공지능으로도 불가능한 무언가 엄청난 변화를 가져와야하지 않을지...
당장에 별도로 게시판을 만들었음에도, 북유게에서 기존 활동 중이신 분들이
정말 예상치 못하게 많이 오셔서 글을 작성해주시고 계십니다.
여기로 레이드를 간다는 글들도 보이고 이 게시판 자체가 혐오의 대상이 된 것 같습니다.
그래서 다소 무리하게 원래 예정했던 일정을 당겼고, 이번에 추가로 얘기를 드려야 합니다.
처음 당일에 1차 로드맵을 공유드렸을때는, 수동으로 될 정도의 소규모 트래픽만 발생할 것이라 생각하였습니다.
그러나 단 몇시간 뒤에 시간당 100개씩 글 / 댓글이 폭증하기 시작했었고,
수동으로 관리를 시도하면서 인공지능 자동화를 작성하려다가 시간이 안 될 것 같아서,
게시판을 임시로 하루 동안 닫아놓게 되었고, 반나절 만에 코딩을 끝내려다 실패하고 23시간을 다 써서 완성했습니다.
사실 몇가지 해결법들을 생각해서 저에게 쪽지로 보내주신 분들이 여럿 계시는데 의견을 묻고 싶습니다.
아마 주요 쪽지 내용은 여러개가 오긴 했지만 2가지로 해결법이 정리되는 것 같습니다.
