제목 | 빅데이터 처리에 대한 고민 | ||
---|---|---|---|
카테고리 | 기타 | ||
글쓴이 | kaido | 작성시각 | 2016/12/28 09:48:43 |
|
|||
안녕하세요! 연말이 얼마 남지 않은 시점에서 괜스레 고민이 깊은 카이도 입니다.
다들 빅 데이터 처리에 대해서 고민은 한번쯤 해보셨을 거라 생각 듭니다. 아이러니 하게도 빅데이터라고 할 정도의 데이터를 만져볼 기회가 없다보니, 기술 연구는 열심히 해두었는데 막상 체험을 못해봐서 고민입니다. [외주로 통계 쿼리는 짜서 납품한 적은 있다만... 쿼리 튜닝 말고 말그대로 빅데이터를 피부로 느껴본적이 없는지라...]
그렇다보니 어떤 부분이나 관점에서 접근 해야 할지도 고민입니다.
하둡이나 스팍 같은것을 일단 적용해 놓아 볼까 하는 생각도 듭니다만 현재 실 서버를 1대로도 자원이 넘칠 만큼 남다보니 무의미 해보이기도 하고요.
솔직한 심정으로는 DB 스키마만 잘 짜두면 어지간한 수준의 빅데이터도 처리가 가능 하다고 생각이 들다 보니 말이죠. 물론 막상 격어보면 어떤 느낌일지는 모르겠다만...
그래서 인지 빅데이터 처리를 위해서 아예 플랫폼 변경을 하거나 [풀스택JS 기반] 하둡과 NoSQL 로 가거나 테스트 서버 여러대 올려놓고 로드밸런스 잡아놓고 잠깐동안 스트레스 테스트나 해볼까 하는 생각도 들긴 합니다만 막상 감은 안잡히네요. 이게 정말 가는 길이 맞는 건지 말이죠 ㅎㅎ
생각 같아서는 웅파님에게 노하우 좀 사사 받기 위해서 견학이라도 신청 해볼까 하는 생각까지 들고 있습니다. ㅎ 다들 빅 데이터 처리에 대해서 어떻게 생각 하시나요? |
|||
다음글 | cordova 플러그인 질문입니다. (1) | ||
이전글 | 어떤식으로 협업하시나요? 협업개발 하는 방법이 알고싶습... (5) | ||
한대승(불의회상)
/
2016/12/28 10:20:29 /
추천
0
저에게도 일단 계륵 이라능....
|
변종원(웅파)
/
2016/12/28 14:55:14 /
추천
0
빅데이터 ai 등 아직 시작단계라고 할까요? (오픈된 서비스들 기준) 영어와 다른 한글의 특성상 여러 제약이 있구요. (말뭉치도 별로 없고) 학습용 셋을 잘 정의하고 그걸 기반으로 학습을 통해 결과 도출.. (2004년에 이미 수작업으로 처리를 했던 부분이 기계화가 되었죠) 저도 채팅에 ai 도입을 위해 우리나라에서 난다긴다하는 분들 접촉을 하고 있지만 입맛에 안 맞는 현실입니다. 직접 하자니 시간과 비용이 많이 들고.. 매커니즘 또는 노하우 정도 알려드릴 순 있습니다. (정모 때 나오세요. ㅎㅎ) |