중국산 LLM의 위험성과 내 데이터를 안전하게 사용하는 방법은 있을까?
중국산 LLM은 오픈소스로 되어 있는 경우 오픈소스를 가져와 사용하면 됩니다.
단 장비가 문제인데 수천만원은 기본이고. 1억은 있어야 되지 않을까 싶습니다.
국내산은 어떠한가?
오픈소스형태가 있기는 한테 사용해 보면 ... 음....
좋아 질것으로 보입니다. 정말 안된다면 증류방식에 대한 이야기가 나오는데 당사자가 이거 하지 않을까요?
모르는 분야라서 이게 되는지 안되는지는 모르겠습니다.
뭐로? 위에 적어 놓은것 !!!
알리바바 Qwen에서 10만번에 한번꼴로 전송이 되는것이 있다고 하는데 이는 학습과정에서 생긴 문제 인지 인위적인것인지 모른다고 합니다.
제 생각엔 인위적일 필요가 없는것이 요즘 사용하다 보면 명확하게 지정해도 opencode에서 하위 디렉토리 다 조사하는 경우가 있어서 지침을 변경하곤 하는데...
모델에 따라 다르던데.. 이렇게 하면 메인서버 LLM 처리 하는쪽으로 다 들어가는것 아닌가 싶은데. 프롬프트 형태로 날라가겠지요 분석해야 되니
어떻게 관리 하는지 전 모르죠... 그렇다는 것입니다.
위 영상의 출처: 돈 내고 쓰는데 내 데이터로 나와 경쟁한다? 팔란티어 CEO가 전한 기업들의 분노 | 알렉스 카프
이렇다고 합니다.
회사에 여유가 있다면 그리고 LLM은 생산성 때문에 써야 하고 외부에 데이터가 나가면 안되는 경우 대안은 공개된 LLM을 사용하는 것입니다.
요즘 중국산 오픈된 LLM 성능이 괜찮다고 하니 1억쯤 들여서 장비 마련해 사용하는것이 가장 안전할듯 합니다.
속도와 원하는 성능이 1억 가지고 될까?는 모르겠네요~ 더 필요 할듯.