#title Hive [[TableOfContents]] PB규모로 PrestoDB를 쓰다가 Trino로 바꿨다. 둘 중에 Trino가 SQL Server와 궁합이 좋다. (sql server connector가 더 기능이 많다는 뜻) presto_client_pkg.0.179-t.0.1.zip http://teradata-presto.s3.amazonaws.com/release-packages/0.179-t.0.1/presto_client_pkg.0.179-t.0.1.zip https://docs.treasuredata.com/display/public/PD/ODBC+Driver+for+Presto ==== Hive ==== * [Hive 개요] * [Hive 예제파일] * [Hive 테이블 만들기] * [Hive MySQL 메타스토어] * [Hive 트러블슈팅] * [Hive Tip&Tech] * [Hive 조인방식] * [Hive UDF JSON Split] * [Hive Python] * [Hive Tuning] * [Hive 로드밸런싱 - nginx] ==== 참고자료 ==== * hivemall * Hive에서 머신러닝 할 수게 해주는 UDF 모음이다. LOF 테스트 해봤는데, 잘 된다. * https://hivemall.incubator.apache.org/ * https://docs.treasuredata.com/articles/hive-hivemall#regression --> 정리가 잘 되어 있다. 돈버는 데라 그런가? * https://github.com/rcongiu/Hive-JSON-Serde * Hive 성능 관련 * http://wwhitelife.tistory.com/ * http://socurites.com/hadoop/%ED%95%98%EC%9D%B4%EB%B8%8Chive-%EC%82%AC%EC%9A%A9%ED%95%98%EA%B8%B0 * https://www.slideshare.net/pudidic/ss-31830137 * [http://bigmark.tistory.com/36 이클립스에서 Hive Thrift 연동하기] * [http://blog.naver.com/beabeak?Redirect=Log&logNo=50143990646 Hive 설치] * [http://bigmark.tistory.com/35 Hive 메타스토어를 MySQL로..] * [http://odysseymoon.tistory.com/35 Hadoop + Hive 성능테스트] * [http://mvnrepository.com/artifact/org.apache.hive/hive-jdbc/0.8.1 hive-jdbc-0.8.1.jar] * [http://hortonworks.com/hdp/addons/ hortonworks Hive ODBC Driver] * [https://cwiki.apache.org/confluence/display/Hive/Home Hive Home] * [http://pizzastudio.tistory.com/entry/Apache-하이브-튜토리얼-번역-문서Hive-Tutorial Hive Tutorial(번역됨)] ==== 메모 ==== {{{ CREATE EXTERNAL TABLE cassandra_table (key string, colname string, value string) STORED BY 'org.apache.hadoop.hive.cassandra.CassandraStorageHandler' WITH SERDEPROPERTIES("cassandra.columns.mapping" = ":key,:column,:value" , "cassandra.cf.name" = "User" , "cassandra.host" = "192.168.136.103" , "cassandra.port" = "9160", "cassandra.partitioner" = "org.apache.cassandra.dht.RandomPartitioner" ) TBLPROPERTIES ("cassandra.ks.name" = "MyKeyspace"); }}}