spark 분석 예제

(Last Updated On: August 2, 2019)

누적: 축압기는 연관 및 가환 작업을 통해서만 추가되는 변수입니다. 카운터 또는 합계를 구현하는 데 사용됩니다. UI에서 누적을 추적하는 것은 실행 단계의 진행 상황을 이해하는 데 유용할 수 있습니다. 스파크는 기본적으로 숫자 누적을 지원합니다. 명명된 축압기 또는 명명되지 않은 누적어를 만들 수 있습니다. Spark Core에는 작업 스케줄링, 메모리 관리, 오류 복구, 스토리지 시스템과의 상호 작용 등을 위한 구성 요소를 비롯하여 Spark의 기본 기능이 포함되어 있습니다. 스파크 코어는 또한 Spark의 주요 프로그래밍 추상화인 탄력적 분산 데이터 집합(RDD)을 정의하는 API의 본거지이기도 합니다. RDD는 병렬로 조작할 수 있는 여러 계산 노드에 분산된 항목의 컬렉션을 나타냅니다. 스파크 코어는 이러한 컬렉션을 빌드하고 조작하기 위한 많은 API를 제공합니다. 기본적으로 변환된 각 RDD는 작업을 실행할 때마다 다시 계산될 수 있습니다. 그러나 지속 또는 캐시 메서드를 사용 하 여 메모리에 RDD를 유지할 수도 있습니다., 이 경우 Spark 는 다음에 쿼리할 때 훨씬 더 빠른 액세스를 위해 클러스터의 요소를 유지 합니다. 또는 PySpark가 현재 환경에서 핍과 함께 설치되어 있는 경우: 스파크가 매우 적합한 빅 데이터의 속도, 다양성 및 볼륨을 처리해야 하는 다른 사용 사례의 빠른 샘플링(그러나 확실히 철저한 경우는 없습니다!).

최근 트위터 스트림을 분석하여 지진을 감지하는 실험에 관한 기사입니다. 흥미롭게도, 이 기술은 일본 기상청보다 더 빨리 일본에서 지진을 알 릴 가능성이 있음을 보여주었습니다. 그들은 그들의 문서에서 다른 기술을 사용 하더라도, 그것은 우리가 단순화 된 코드 조각 및 접착제 코드 없이 사용 하는 Spark를 넣을 수 있는 방법을 볼 수 있는 좋은 예 라고 생각 합니다. 감정 분석 데모에서 보았듯이`트럼프`처럼 특정 주제에 대한 감정을 추출할 수 있습니다. 마찬가지로 Sentiment Analytics는 전 세계 기업의 위기 관리, 서비스 조정 및 타겟 마케팅에 사용할 수 있습니다. 엔지니어의 경우 Spark는 클러스터 간에 이러한 응용 프로그램을 병렬화하는 간단한 방법을 제공하며 분산 시스템 프로그래밍, 네트워크 통신 및 내결함성의 복잡성을 숨깁니다. 이 시스템은 응용 프로그램을 모니터링, 검사 및 조정하는 동시에 일반적인 작업을 신속하게 구현할 수 있도록 충분한 제어 권한을 제공합니다. API의 모듈식 특성(분산 된 개체 컬렉션 전달에 따라)을 사용하면 작업을 재사용 가능한 라이브러리로 팩터링하고 로컬로 쉽게 테스트할 수 있습니다.

MLlib는 분류, 회귀, 클러스터링, 협업 필터링 등을 위해 클러스터에서 확장하도록 설계된 다양한 알고리즘을 제공하는 기계 학습 라이브러리입니다(기계 학습에 대한 Toptal의 기사에서 자세한 내용은 주제)를 참조하십시오. 이러한 알고리즘 중 일부는 일반 최소 제곱또는 k-평균 클러스터링을 사용하는 선형 회귀와 같은 스트리밍 데이터에서도 작동합니다(그리고 그 이상). 아파치 마호(Hadoop용 머신 러닝 라이브러리)는 이미 MapReduce에서 외면하고 스파크 MLlib에 힘을 합쳤습니다. 스트리밍 컨텍스트는 Spark에서 데이터 스트림을 사용합니다. 수신기 개체를 생성하기 위해 입력 DStream을 등록합니다. Spark 기능의 주요 진입점입니다. Spark는 컨텍스트에서 액세스할 수 있는 트위터, Akka Actor 및 ZeroMQ와 같은 소스의 기본 구현을 제공합니다.

Rick

After many years of being a full time freelance writer, and a long time resident of this state, I've decided to turn my full attention toward California by exploring all that it has to offer. My goal is to inspire you to get out there and explore this amazing state. Please follow my adventures and news content by visiting Calexplornia daily or clicking on one of my Social Media accounts below.