개발 Q&A

제목 빅데이터 처리에 대한 고민
카테고리 기타
글쓴이 kaido 작성시각 2016/12/28 09:48:43
댓글 : 2 추천 : 0 스크랩 : 0 조회수 : 10667   RSS

안녕하세요!

연말이 얼마 남지 않은 시점에서 괜스레 고민이 깊은 카이도 입니다.

 

다들 빅 데이터 처리에 대해서 고민은 한번쯤 해보셨을 거라 생각 듭니다.

아이러니 하게도 빅데이터라고 할 정도의 데이터를 만져볼 기회가 없다보니,  

기술 연구는 열심히 해두었는데 막상 체험을 못해봐서 고민입니다.

[외주로 통계 쿼리는 짜서 납품한 적은 있다만... 쿼리 튜닝 말고 말그대로 빅데이터를 피부로 느껴본적이 없는지라...]

 

그렇다보니 어떤 부분이나 관점에서 접근 해야 할지도 고민입니다.

 

하둡이나 스팍 같은것을 일단 적용해 놓아 볼까 하는 생각도 듭니다만

현재 실 서버를 1대로도 자원이 넘칠 만큼 남다보니 무의미 해보이기도 하고요.

 

솔직한 심정으로는 DB 스키마만 잘 짜두면 어지간한 수준의 빅데이터도 처리가 가능 하다고 생각이 들다 보니 말이죠.

물론 막상 격어보면 어떤 느낌일지는 모르겠다만...

 

그래서 인지 빅데이터 처리를 위해서 아예 플랫폼 변경을 하거나 [풀스택JS 기반] 하둡과 NoSQL 로 가거나

테스트 서버 여러대 올려놓고 로드밸런스 잡아놓고 잠깐동안 스트레스 테스트나 해볼까 하는 생각도 들긴 합니다만

막상 감은 안잡히네요.

이게 정말 가는 길이 맞는 건지 말이죠 ㅎㅎ

 

생각 같아서는 웅파님에게 노하우 좀 사사 받기 위해서 견학이라도 신청 해볼까 하는 생각까지 들고 있습니다. ㅎ

다들 빅 데이터 처리에 대해서 어떻게 생각 하시나요?

 다음글 cordova 플러그인 질문입니다. (1)
 이전글 어떤식으로 협업하시나요? 협업개발 하는 방법이 알고싶습... (5)

댓글

한대승(불의회상) / 2016/12/28 10:20:29 / 추천 0
저에게도 일단 계륵 이라능....
변종원(웅파) / 2016/12/28 14:55:14 / 추천 0

빅데이터 ai 등 아직 시작단계라고 할까요? (오픈된 서비스들 기준)

영어와 다른 한글의 특성상 여러 제약이 있구요. (말뭉치도 별로 없고)

학습용 셋을 잘 정의하고 그걸 기반으로 학습을 통해 결과 도출.. (2004년에 이미 수작업으로 처리를 했던 부분이 기계화가 되었죠)

저도 채팅에 ai 도입을 위해 우리나라에서 난다긴다하는 분들 접촉을 하고 있지만 입맛에 안 맞는 현실입니다.

직접 하자니 시간과 비용이 많이 들고..

매커니즘 또는 노하우 정도 알려드릴 순 있습니다. (정모 때 나오세요. ㅎㅎ)