マネージドETL&ワークフローサービス「trocco®️」の詳細・事例一覧(株式会社primeNumber)
導入実績
導入社数 | 約 200 社 (2021年10月04日時点) |
向いてる形態 | BtoB/BtoC |
導入先の傾向 | データ活用に注力されている企業様多数、データ分析基盤導入済/導入検討中 |
シーラベルおすすめピックアップ事例
マネージドETL&ワークフローサービス「trocco®️」の画面イメージ
マネージドETL&ワークフローサービス「trocco®️」のサービス詳細
データ転送
プロのデータエンジニアが実務に必要なレベルの転送機能を準備しました。
連携先の多さや転送速度はもちろんのこと、可用性やスケーラビリティ、
更にはセキュリティまでが考慮された設計になっています。
・洗練されたUIで、最短5分で本番デプロイ
データエンジニアの方の意見を多数取り入れ、最も設定・運用がしやすいUIを追求しています。
・ファイルの形式・スキーマを自動推論
転送元のデータがファイル形式の場合、ファイルの圧縮形式・フォーマット・スキーマ(データ型)等を自動で推論します。
そのため列名を手動で入力したり、各列のデータ型を入力する手間が省け、非常に効率的に作業を行うことが出来ます。
・スケーラビリティの考慮されたインフラで、高速化や同時並列実行も問題なし
高速化オプション:CPUs/Memoryの割り当てを自由にお選びいただけるため、厳しいパフォーマンス要件にも対応できます。
スケーラビリティ:Kubernetesクラスタ内で自動スケールアウトするため、多数のジョブ同時実行に耐えられます。
・転送処理エンジンには、パワフルな「Embulk」を採用
データ転送のエンジンにデータ転送に特化したOSS「Embulk」を採用しています。
そのためビッグデータ規模のデータも高速かつ安定して転送が可能です。
EmbulkのOSSにはtroccoの開発チームもコミットしており、何かあっても対応が可能です。
ELT(データマート生成)
SQLエディタで変換処理を書くだけで、DWH上のログをビジネス活用しやすい状態に整備
・DWH内のデータを変換・集計
データレイク→データマートの構築が可能に
・レポート作成の自動化
分析用レポート・名寄せ処理・不要データの排除
・DWHにクエリを定期実行
定期実行・カスタム変数・Slack通知機能などが利用可能
・ジョブ依存関係
ワークフロー機能と併用することで、troccoデータ転送後に集計を実行するような依存関係が構築可能
ワークフロー(ジョブ管理)
複雑なパイプラインもGUIで定義。データエンジニアリングに必要な接続先が豊富
・直感的・シンプルなUI
GUIで依存関係を定義可能。DigdagやAirflowよりもシンプルなUIを目指しました。
・分析基盤に必要十分な機能を網羅
リトライ、並列実行数制御、通知、スケジュール実行を設定できます。
・データ分析に必要な接続先をカバー
Tableauデータ抽出/AWS Glue ETLジョブ/データバリデーション/SSHコマンド実行/Slack通知
シーラベルで可能なこと