Data Ingestion — различия между версиями
Admin (обсуждение | вклад) (Новая страница: «'''Data Ingestion''' (поглащение данных) - процесс получения, внесения и обработки данных для посл…») |
Admin (обсуждение | вклад) м |
||
| (не показаны 2 промежуточные версии этого же участника) | |||
| Строка 1: | Строка 1: | ||
| − | '''Data Ingestion''' ( | + | '''Data Ingestion''' (поглощение данных) - процесс получения, внесения и обработки данных для последующего их использования или хранения в базе данных. |
| + | |||
| + | == Инструменты == | ||
| + | * [https://nifi.apache.org/ Apache NiFi] | ||
| + | * [http://flume.apache.org/ Apache Flume] | ||
| + | * [http://sqoop.apache.org/ Apache Sqoop] | ||
| + | * [http://kafka.apache.org/ Apache Kafka] | ||
| + | * [http://samza.apache.org/ Apache Samza] | ||
| + | * [http://storm.apache.org/ Apache Storm] | ||
| + | * [http://chukwa.apache.org/ Apache Chukwa] | ||
| + | * [https://github.com/linkedin/gobblin Gobblin] | ||
| + | * [http://aws.amazon.com/kinesis/ Amazon Kinesis] | ||
| + | * [https://github.com/cloudera/cdk/tree/master/cdk-morphlines Cloudera Morphines] | ||
| + | * [https://github.com/linkedin/white-elephant White Elephant] | ||
| + | * [http://www.fluentd.org/ Fluentd] | ||
| + | * [https://github.com/mozilla-services/heka Heka] | ||
| + | * [https://github.com/facebookarchive/scribe Scribe] | ||
| + | |||
| + | == См. также == | ||
| + | * [[ETL]] | ||
[[Категория:Дисциплины]] | [[Категория:Дисциплины]] | ||
Текущая версия на 12:02, 20 августа 2018
Data Ingestion (поглощение данных) - процесс получения, внесения и обработки данных для последующего их использования или хранения в базе данных.
Инструменты
- Apache NiFi
- Apache Flume
- Apache Sqoop
- Apache Kafka
- Apache Samza
- Apache Storm
- Apache Chukwa
- Gobblin
- Amazon Kinesis
- Cloudera Morphines
- White Elephant
- Fluentd
- Heka
- Scribe