<div dir="auto">Hive uses a meta store (normally mysql)  to store the schema information including location of data, schema of data. <div dir="auto">If you only have a small about of meta data and you can recreate it quickly people will do it in the startup process of there emr process. </div><div dir="auto">If you have thousands of tables with thousands of partitions uses a reliable database you know how to backup and manage.<br><div dir="auto"><br></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Oct 21, 2019, 12:55 AM Sujit K M <<a href="mailto:kmsujit@gmail.com">kmsujit@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="auto"><div><br><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Oct 21, 2019, 1:31 AM Edward Capriolo <<a href="mailto:edlinuxguru@gmail.com" target="_blank" rel="noreferrer">edlinuxguru@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sun, Oct 20, 2019 at 11:23 AM Sujit K M <<a href="mailto:kmsujit@gmail.com" rel="noreferrer noreferrer" target="_blank">kmsujit@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>Always been a critique of AWS. Found something that might fuel that more.</div><div>Not sure whether there will be more acceptance.</div><div><br></div><div>Below an article on something I was researching.</div><div><br></div><div><a href="http://www.devgrok.com/2018/12/using-s3-hive-metastore-with-emr.html" rel="noreferrer noreferrer" target="_blank">http://www.devgrok.com/2018/12/using-s3-hive-metastore-with-emr.html</a></div><div><br></div><div>Below an article on In memory Database on AWS<br></div><div><br></div><div><a href="https://aws.amazon.com/nosql/in-memory/" rel="noreferrer noreferrer" target="_blank">https://aws.amazon.com/nosql/in-memory/</a></div><div><br></div><div>As per some of the discussions we have had on EC2 on FreeBSD. I find</div><div>supporting something like HSQL(Java In Memory Database) on AWS very <br></div><div>difficult which is certified by other cloud vendors, they seem to think how</div><div>can you not have it.<br></div></div>
_______________________________________________<br>
talk mailing list<br>
<a href="mailto:talk@lists.nycbug.org" rel="noreferrer noreferrer" target="_blank">talk@lists.nycbug.org</a><br>
<a href="http://lists.nycbug.org:8080/mailman/listinfo/talk" rel="noreferrer noreferrer noreferrer" target="_blank">http://lists.nycbug.org:8080/mailman/listinfo/talk</a><br></blockquote><div><br></div><div><br></div><div>You are looking at vastly different technologies.</div><div><br></div><div>Hive is batch processing system with an SQL frontend. At best it works at analytic speed. Queries over GB of data in the seconds to minute range.</div><div><br></div><div>This is different then single node "in memory" databases. (HSQL)<br></div><div><br></div><div>Which are different then multi-node distributed in memory databases (VoltDB)<br><br></div><div>Aerospike and redis are KV like stores without relational capabilities.</div><div></div></div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto">Not sure whether you have read the link. It states having MySQL as backend to store hive data. My question is what ever is in s3 bucket, do they run out of box.</div><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_quote"><div><br></div></div></div>
</blockquote></div></div></div>
_______________________________________________<br>
talk mailing list<br>
<a href="mailto:talk@lists.nycbug.org" target="_blank" rel="noreferrer">talk@lists.nycbug.org</a><br>
<a href="http://lists.nycbug.org:8080/mailman/listinfo/talk" rel="noreferrer noreferrer" target="_blank">http://lists.nycbug.org:8080/mailman/listinfo/talk</a><br>
</blockquote></div>